Каква е отговорността на разработчиците, използващи генеративен изкуствен интелект?

Каква е отговорността на разработчиците, използващи генеративен изкуствен интелект?

Кратък отговор: Разработчиците, използващи генеративен изкуствен интелект, са отговорни за цялата система, не само за резултата от модела. Когато изкуственият интелект влияе върху решенията, кода, поверителността или доверието на потребителите, те трябва да избират безопасни приложения, да проверяват резултатите, да защитават данните, да намаляват вредите и да гарантират, че хората могат да преглеждат, отменят и коригират грешки.

Ключови изводи:

Проверка : Третирайте полираните резултати като ненадеждни, докато източници, тестове или човешка проверка не ги потвърдят.

Защита на данните : Минимизирайте данните от подканите, премахнете идентификаторите и защитете регистрационните файлове, контролите за достъп и доставчиците.

Справедливост : Тествайте в различни демографски групи и контексти, за да откриете стереотипи и неравномерни модели на неуспех.

Прозрачност : Ясно обозначете употребата на ИИ, обяснете ограниченията му и предложете човешка проверка или обжалване.

Отговорност : Определете ясни отговорници за внедряването, инцидентите, мониторинга и връщането към предишните етапи преди стартирането.

Каква е отговорността на разработчиците, използващи генеративен изкуствен интелект? Инфографика

Статии, които може да ви харесат след тази:

🔗 Най-добрите инструменти с изкуствен интелект за разработчици на софтуер: Най-добрите асистенти за кодиране, задвижвани от изкуствен интелект
Сравнете най-добрите асистенти за AI кодиране за по-бързи и по-чисти работни процеси за разработка.

🔗 Топ 10 AI инструменти за разработчици, които повишават производителността
Класиран списък с инструменти за изкуствен интелект за разработчици за по-интелигентно кодиране и бързина.

🔗 Защо изкуственият интелект може да бъде вреден за обществото и доверието
Обяснява вредите в реалния свят: рискове от предразсъдъци, поверителност, работни места и дезинформация.

🔗 Прекалил ли е изкуственият интелект при вземането на решения с висок залог?
Определя кога изкуственият интелект пресича границите: наблюдение, дийпфейкове, убеждаване, липса на съгласие.

Защо отговорността на разработчиците, използващи генеративен изкуствен интелект, е по-важна, отколкото хората си мислят

Много софтуерни грешки са дразнещи. Бутон се счупва. Страница се зарежда бавно. Нещо се срива и всички стенат.

Проблемите с генеративния изкуствен интелект могат да бъдат различни. Те могат да бъдат фини.

Един модел може да звучи уверено, докато греши. NIST GenAI профил. Може да възпроизвежда пристрастия без очевидни предупредителни знаци. NIST GenAI профил. Може да разкрие чувствителни данни, ако се използва небрежно. OWASP Топ 10 за LLM приложения. Осемте въпроса на ICO за генеративен ИИ. Може да създаде код, който работи - докато не се провали в продукцията по някакъв дълбоко неудобен начин. OWASP Топ 10 за LLM приложения. Нещо като да наемете много ентусиазиран стажант, който никога не спи и от време на време измисля факти със зашеметяваща увереност.

Ето защо отговорността на разработчиците, използващи генеративен изкуствен интелект, е по-голяма от простото внедряване. Разработчиците вече не изграждат само логически системи. Те изграждат вероятностни системи с размити ръбове, непредсказуеми резултати и реални социални последици. NIST AI RMF

Това означава, че отговорността включва:

Знаете как става - когато един инструмент изглежда магически, хората спират да го поставят под въпрос. Разработчиците не могат да си позволят да бъдат толкова спокойни.

Какво прави една добра версия на отговорността на разработчиците, използващи генеративен изкуствен интелект? 🛠️

Добрата версия на отговорността не е изпълнителска. Тя не е просто добавяне на отказ от отговорност в края и наричането ѝ етика. Тя се проявява в дизайнерските решения, навиците за тестване и поведението на продукта.

Ето как обикновено изглежда отговорността на разработчиците, използващи генеративен изкуствен интелект

Ако това ви звучи много, е, така е. Но това е положението, когато работите с технологии, които могат да повлияят на решения, убеждения и поведение в голям мащаб. Принципи на ИИ на ОИСР

Сравнителна таблица - основната отговорност на разработчиците, използващи генеративен изкуствен интелект, накратко 📋

Зона на отговорност Кого засяга Ежедневна практика на разработчиците Защо е важно
Точност и проверка потребители, екипи, клиенти Преглед на резултатите, добавяне на валидационни слоеве, тестване на гранични случаи Изкуственият интелект може да говори свободно и въпреки това да греши ужасно - което е груба комбинация от профил на NIST GenAI
Защита на поверителността потребители, клиенти, вътрешен персонал Минимизиране на използването на чувствителни данни, почистване на подкани, контрол на регистрационните файлове След като лични данни изтекат, пастата за зъби е извън тубата 😬 Осемте въпроса на ICO за генеративен изкуствен интелект OWASP Топ 10 за LLM приложения
Пристрастие и справедливост недостатъчно представени групи, всички потребители наистина Одит на резултатите, тестване на разнообразни входни данни, настройване на защитни мерки Вредата не винаги е шумна - понякога е систематична и тиха. NIST GenAI Profile ICO ръководство за ИИ и защита на данните
Сигурност фирмени системи, потребители Ограничаване на достъпа до модела, защита от незабавно инжектиране, рискови действия в пясъчник Една хитра експлойт може бързо да разруши доверието OWASP Топ 10 за LLM приложения NCSC за изкуствен интелект и киберсигурност
Прозрачност крайни потребители, регулаторни органи, екипи за поддръжка Ясно обозначете поведението на ИИ, обяснете ограниченията, документирайте употребата Хората заслужават да знаят кога машината помага на ОИСР за принципите на изкуствения интелект относно маркирането и етикетирането на генерирано от изкуствен интелект съдържание
Отговорност собственици на продукти, правни специалисти, екипи за разработка Дефиниране на собственост, обработка на инциденти, пътища за ескалация „Изкуственият интелект го направи“ не е отговор за възрастни - Принципи на ИИ от ОИСР
Надеждност всеки, който докосва продукта Следете неуспехите, задавайте прагове за доверие, създавайте резервна логика Моделите се отклоняват, провалят се по неочаквани начини и от време на време имат малък драматичен епизод. NIST AI RMF NCSC secure AI guidelines
Благополучие на потребителите особено уязвими потребители Избягвайте манипулативния дизайн, ограничете вредните резултати, прегледайте случаите на употреба с висок риск Само защото нещо може да бъде генерирано, не означава, че трябва да бъде съгласно принципите на ИИ на ОИСР, NIST AI RMF.

Малко неравна маса, разбира се, но това е подходящо за темата. Истинската отговорност също е неравна.

Отговорността започва преди първия подтик - избор на правилния случай на употреба 🎯

Една от най-големите отговорности на разработчиците е да решат дали изобщо трябва да се използва генеративен изкуствен интелект . NIST AI RMF

Това звучи очевидно, но постоянно се пропуска. Екипите виждат модел, вълнуват се и започват да го налагат в работни потоци, които биха се обработвали по-добре чрез правила, търсене или обикновена софтуерна логика. Не всеки проблем се нуждае от езиков модел. Някои проблеми се нуждаят от база данни и тих следобед.

Преди да започнат строителството, предприемачите трябва да се запитат:

  • Задачата отворена ли е или детерминистична?

  • Може ли неправилният изход да причини вреда?

  • Нуждаят ли се потребителите от креативност, предвиждане, обобщаване, автоматизация - или просто скорост?

  • Ще се доверят ли хората прекалено много на резултатите? Профил на NIST GenAI

  • Може ли човек реалистично да прецени резултатите? Принципи на ИИ на ОИСР

  • Какво се случва, когато моделът е грешен? Принципи на ИИ на ОИСР

Един отговорен разработчик не просто пита: „Можем ли да построим това?“. Той пита: „Трябва ли това да се построи по този начин?“. NIST AI RMF

Този въпрос сам по себе си предотвратява много лъскави глупости.

Точността е отговорност, а не бонус функция ✅

Нека бъдем ясни - един от най-големите капани в генеративния изкуствен интелект е объркването на красноречието с истината. Моделите често дават отговори, които звучат изпипано, структурирано и дълбоко убедително. Което е прекрасно, докато съдържанието не се превърне в глупости, обвити в поверителност. Профил на NIST GenAI

Така че отговорността на разработчиците, използващи генеративен изкуствен интелект, включва изграждането на верификационни елементи.

Това означава:

Това е от голямо значение в области като:

  • здравеопазване

  • финанси

  • правни работни процеси

  • образование

  • обслужване на клиенти

  • автоматизация на предприятията

  • генериране на код

Генерираният код, например, може да изглежда спретнат, като същевременно крие пропуски в сигурността или логически грешки. Разработчик, който го копира сляпо, не е ефективен - той просто аутсорсва риска в по-красив формат. OWASP Топ 10 за LLM приложения NCSC за изкуствен интелект и киберсигурност

Моделът може да помогне. Разработчикът все още притежава резултата. Принципи на ИИ на ОИСР

Поверителността и управлението на данните са неоспорими 🔐

Ето къде нещата бързо стават сериозни. Системите с генеративен изкуствен интелект често разчитат на подкани, лог файлове, контекстни прозорци, слоеве памет, анализи и инфраструктура на трети страни. Това създава много възможности за изтичане на чувствителни данни, запазване или повторно използване по начини, които потребителите никога не са очаквали. Осемте въпроса на ICO за генеративен изкуствен интелект OWASP Топ 10 за LLM приложения

Разработчиците имат отговорност да защитават:

  • лична информация

  • финансови записи

  • медицински подробности

  • вътрешни данни на компанията

  • търговски тайни

  • токени за удостоверяване

  • комуникации с клиенти

Отговорните практики включват:

Това е една от онези области, в които „забравихме да помислим за това“ не е малка грешка. Това е провал, който нарушава доверието.

И доверието, веднъж пропукано, се разпространява като изпуснато стъкло. Може би не е най-изящната метафора, но го разбирате.

Пристрастие, справедливост и представителство - по-тихите отговорности ⚖️

Пристрастието в генеративния ИИ рядко е злодей от анимационен филм. Обикновено е по-хлъзгаво от това. Моделът може да генерира стереотипни длъжностни описания, неравномерни решения за модериране, едностранчиви препоръки или културно ограничени предположения, без да предизвиква очевидни аларми. NIST GenAI профил

Ето защо отговорността на разработчиците, използващи генеративен изкуствен интелект, включва активна работа по осигуряване на справедливост.

Разработчиците трябва:

Една система може да изглежда, че работи добре като цяло, но постоянно да обслужва някои потребители по-зле от други. Това не е приемливо, само защото средната производителност изглежда добре на таблото. Насоки на ICO за изкуствен интелект и защита на данните NIST GenAI Profile

И да, справедливостта е по-трудна от спретнат контролен списък. В нея има преценка. Контекст. Компромиси. И известна степен на дискомфорт. Но това не премахва отговорността - потвърждава я. Насоки на ICO относно изкуствения интелект и защитата на данните

Сигурността вече е част от бързото проектиране, част от инженерната дисциплина 🧱

Генеративната ИИ сигурност е своеобразен звяр. Традиционната сигурност на приложенията, разбира се, все още е важна, но ИИ системите добавят необичайни повърхности за атака: инжектиране на подкани, индиректна манипулация на подкани, опасно използване на инструменти, изтичане на данни чрез контекст и злоупотреба с модел чрез автоматизирани работни процеси. OWASP Топ 10 за LLM приложения NCSC за ИИ и киберсигурност

Разработчиците са отговорни за осигуряването на сигурността на цялата система, а не само на интерфейса. Насоки на NCSC за сигурен изкуствен интелект

Ключовите отговорности тук включват:

Една неудобна истина е, че потребителите - и нападателите - със сигурност ще опитат неща, които разработчиците не са очаквали. Някои от любопитство, други от злоба, трети, защото са кликнали върху грешното нещо в 2 часа сутринта. Случва се.

Сигурността за генеративния изкуствен интелект е по-малко като изграждане на стена и по-скоро като управление на много приказлив пазач на портала, който понякога се подвежда от фразирането.

Прозрачността и съгласието на потребителите са по-важни от лъскавото потребителско изживяване 🗣️

Когато потребителите взаимодействат с ИИ, те трябва да го знаят. на ОИСР за ИИ относно маркирането и етикетирането на генерирано от ИИ съдържание

Не смътно. Не заровено в термини. Ясно.

Основна част от отговорността на разработчиците, използващи генеративен изкуствен интелект, е да гарантират, че потребителите разбират:

Прозрачността не е за плашене на потребителите. Тя е за уважение към тях.

Добрата прозрачност може да включва:

Много продуктови екипи се притесняват, че честността ще направи функцията по-малко магическа. Може би. Но фалшивата сигурност е по-лоша. Гладък интерфейс, който крие риск, е по същество излъскано объркване.

Разработчиците остават отговорни - дори когато моделът „решава“ 👀

Тази част е от голямо значение. Отговорността не може да бъде прехвърлена на доставчика на модела, картата на модела, шаблона за подкана или мистериозната атмосфера на машинното обучение. Принципи на ИИ на ОИСР , NIST AI RMF

Разработчиците все още носят отговорност. Принципи на ИИ за ОИСР

Това означава, че някой от екипа трябва да притежава:

Трябва да има ясни отговори на въпроси като:

Без притежание, отговорността се превръща в мъгла. Всички предполагат, че някой друг се справя с нея... а после никой не го прави.

Всъщност този модел е по-стар от изкуствения интелект. Изкуственият интелект просто го прави по-опасен.

Отговорните разработчици създават за корекция, а не за съвършенство 🔄

Ето и малкия обрат във всичко това: отговорното разработване на ИИ не е да се преструваме, че системата ще бъде перфектна. Става въпрос за допускане, че тя ще се провали по някакъв начин и проектиране, съобразено с тази реалност. NIST AI RMF

Това означава изграждане на продукти, които са:

Ето как изглежда зрялостта. Не лъскави демонстрации. Не задъхани маркетингови текстове. Реални системи, с предпазни мерки, лог файлове, отчетност и достатъчно смирение, за да се признае, че машината не е магьосник. Насоки за сигурен ИИ на NCSC. Принципи на ИИ на ОИСР.

Защото не е. Това е инструмент. Мощен, да. Но все пак инструмент.

Заключително размишление върху отговорността на разработчиците, използващи генеративен изкуствен интелект 🌍

И така, каква е отговорността на разработчиците, използващи генеративен изкуствен интелект ?

Това означава да се изгражда с внимание. Да се ​​поставя под въпрос къде системата помага и къде вреди. Да се ​​защитава поверителността. Да се ​​тества за пристрастия. Да се ​​проверяват резултатите. Да се ​​осигури работен процес. Да се ​​​​бъде прозрачен с потребителите. Да се ​​​​поддържа смислен контрол от страна на хората. Да се ​​​​носи отговорност, когато нещата се объркат. NIST AI RMF OECD AI Принципи

Това може да звучи тежко - и е така. Но това е и това, което отличава внимателното разработване от безразсъдната автоматизация.

Най-добрите разработчици, използващи генеративен изкуствен интелект, не са тези, които карат модела да изпълнява най-много трикове. Те са тези, които разбират последствията от тези трикове и проектират съответно. Те знаят, че скоростта е важна, но доверието е истинският продукт. Колкото и да е странно, тази старомодна идея все още е актуална. NIST AI RMF

В крайна сметка, отговорността не е пречка за иновациите. Тя е това, което предпазва иновациите от превръщането им в скъпо, бурно разрастване с излъскан интерфейс и проблем с доверието 😬✨

И може би това е най-простият вариант.

Строете смело, разбира се - но строете така, сякаш хората биха могли да бъдат засегнати, защото са. Принципи на ИИ от ОИСР

ЧЗВ

Каква е отговорността на разработчиците, използващи генеративен изкуствен интелект на практика?

Отговорността на разработчиците, използващи генеративен изкуствен интелект, далеч надхвърля бързото внедряване на функции. Тя включва избор на правилния случай на употреба, тестване на резултатите, защита на поверителността, намаляване на вредното поведение и осигуряване на разбираемост на системата за потребителите. На практика разработчиците остават отговорни за това как инструментът е проектиран, наблюдаван, коригиран и управляван, когато се повреди.

Защо генеративният изкуствен интелект изисква повече отговорност от разработчиците, отколкото нормалният софтуер?

Традиционните грешки често са очевидни, но генеративните провали на ИИ могат да звучат изпипано, но същевременно да са грешни, предубедени или рискови. Това прави проблемите по-трудни за откриване и по-лесно за потребителите да им се доверяват погрешно. Разработчиците работят с вероятностни системи, така че отговорността включва справяне с несигурността, ограничаване на вредите и подготовка за непредсказуеми резултати преди пускането на продукта.

Как разработчиците знаят кога не трябва да се използва генеративен изкуствен интелект?

Често срещана отправна точка е да се запитаме дали задачата е с отворен край или се справя по-добре чрез правила, търсене или стандартна софтуерна логика. Разработчиците също трябва да обмислят колко вреда може да причини грешен отговор и дали човек може реалистично да прегледа резултатите. Отговорното използване понякога означава да решим изобщо да не използваме генеративен изкуствен интелект.

Как разработчиците могат да намалят халюцинациите и грешните отговори в генеративните системи с изкуствен интелект?

Точността трябва да бъде проектирана, а не предполагана. В много конвейери това означава базиране на резултатите на надеждни източници, отделяне на генерирания текст от проверените факти и използване на работни потоци за преглед за задачи с по-висок риск. Разработчиците също трябва да тестват подкани, предназначени да объркат или подведат системата, особено в области като код, поддръжка, финанси, образование и здравеопазване.

Каква е отговорността на разработчиците, използващи генеративен изкуствен интелект, за поверителността и чувствителните данни?

Отговорността на разработчиците, използващи генеративен изкуствен интелект, включва минимизиране на данните, влизащи в модела, и третиране на подканите, регистрационните файлове и изходите като чувствителни. Разработчиците трябва да премахват идентификаторите, където е възможно, да ограничават съхранението им, да контролират достъпа и внимателно да преглеждат настройките на доставчиците. Потребителите също трябва да могат да разбират как се обработват техните данни, вместо да откриват рисковете по-късно.

Как разработчиците трябва да се справят с пристрастията и справедливостта в генеративните резултати от ИИ?

Работата с предубеждения изисква активна оценка, а не предположения. Практически подход е да се тестват подканите в различни демографски групи, езици и контексти, след което да се прегледат резултатите за стереотипи, изключване или неравномерни модели на неуспех. Разработчиците трябва също така да създадат начини за потребителите или екипите да докладват за вредно поведение, защото една система може да изглежда силна като цяло, но въпреки това постоянно да проваля определени групи.

За какви рискове за сигурността разработчиците трябва да помислят при генеративния изкуствен интелект?

Генеративният изкуствен интелект въвежда нови повърхности за атака, включително незабавно инжектиране, опасно използване на инструменти, изтичане на данни чрез контекст и злоупотреба с автоматизирани действия. Разработчиците трябва да „дезинфекцират“ ненадеждния вход, да ограничават разрешенията за инструменти, да ограничават достъпа до файлове и мрежа и да следят за модели на злоупотреба. Сигурността не е само свързана с интерфейса; тя се отнася до целия работен процес около модела.

Защо прозрачността е важна при изграждането с генеративен изкуствен интелект?

Потребителите трябва ясно да знаят кога е замесен изкуствен интелект, какво може да прави и къде са неговите граници. Добрата прозрачност може да включва етикети като „генерирано от изкуствен интелект“ или „подпомогнато от изкуствен интелект“, прости обяснения и ясни пътища към човешка поддръжка. Този вид откровеност не отслабва продукта; тя помага на потребителите да калибрират доверието и да вземат по-добри решения.

Кой носи отговорност, когато генеративна функция на изкуствен интелект причини вреда или свърши нещо нередно?

Разработчиците и продуктовите екипи все още носят отговорност за резултата, дори когато моделът генерира отговора. Това означава, че трябва да има ясна отговорност за одобрението на внедряването, обработката на инциденти, връщането към предишни модели, мониторинга и комуникацията с потребителите. „Моделът реши“ не е достатъчно, защото отговорността трябва да остане на хората, които са проектирали и стартирали системата.

Как изглежда отговорното разработване на генеративен изкуствен интелект след пускането му на пазара?

Отговорното разработване продължава и след пускането му на пазара чрез наблюдение, обратна връзка, преглед и корекции. Силните системи са одитираеми, прекъсваеми, възстановими и проектирани с резервни пътища, когато изкуственият интелект се повреди. Целта не е съвършенство; тя е изграждането на нещо, което може да бъде изследвано, подобрено и коригирано безопасно при възникване на реални проблеми.

Референции

  1. Национален институт за стандарти и технологии (NIST) - NIST GenAI профил - nvlpubs.nist.gov

  2. OWASP - Топ 10 на OWASP за кандидатстване за магистърска степен по право (LLM) - owasp.org

  3. Служба на комисаря по информацията (ICO) - Осемте въпроса на ICO за генеративния изкуствен интелект - ico.org.uk

Намерете най-новия изкуствен интелект в официалния магазин за асистенти с изкуствен интелект

За нас

Обратно към блога