Ако изграждате или оценявате системи за машинно обучение, рано или късно ще се сблъскате със същата пречка: етикетираните данни. Моделите не знаят магически кое какво е. Хора, политики, а понякога и програми, трябва да ги учат. И така, какво е етикетиране на данни с изкуствен интелект? Накратко, това е практиката да се добавя смисъл към суровите данни, за да могат алгоритмите да се учат от тях... 😊
🔗 Какво е етика на изкуствения интелект
Преглед на етичните принципи, ръководещи отговорното разработване и внедряване на ИИ.
🔗 Какво е MCP в AI
Обяснява протокола за управление на модела и неговата роля в управлението на поведението на ИИ.
🔗 Какво е периферен изкуствен интелект
Обхваща как изкуственият интелект обработва данни директно на устройства в периферията.
🔗 Какво е агентивен ИИ
Въвежда автономни агенти с изкуствен интелект, способни да планират, разсъждават и действат самостоятелно.
Какво всъщност е етикетирането на данни с изкуствен интелект? 🎯
Етикетирането на данни с изкуствен интелект е процесът на прикачване на разбираеми за човека етикети, диапазони, кутии, категории или оценки към сурови входни данни като текст, изображения, аудио, видео или времеви серии, така че моделите да могат да откриват модели и да правят прогнози. Помислете за ограничаващи рамки около автомобили, етикети на обекти върху хора и места в текст или предпочитани гласове за това кой отговор на чатбот е по-полезен. Без тези етикети класическото контролирано обучение никога не се задейства.
Ще чуете и етикети, наречени „ground truth“ или „златни данни“ : договорени отговори под ясни инструкции, използвани за обучение, валидиране и одит на поведението на модела. Дори в ерата на базовите модели и синтетичните данни, етикетираните множества все още имат значение за оценката, фината настройка, безопасното „червено екипиране“ и случаите с дълга опашка – т.е. как вашият модел се държи при странните неща, които вашите потребители всъщност правят. Няма безплатен обяд, само по-добри кухненски инструменти.
Какво прави етикетирането на данни с изкуствен интелект добро ✅
Казано просто: доброто етикетиране е скучно по най-добрия начин. Изглежда предвидимо, повтаряемо и леко прекалено документирано. Ето как изглежда това:
-
Стегната онтология : именуваният набор от класове, атрибути и взаимоотношения, които ви интересуват.
-
Кристални инструкции : решени примери, контрапримери, специални случаи и правила за тайбрек.
-
Цикли на рецензента : втори чифт очи върху част от задачите.
-
Метрики за съгласуваност : съгласуваност между анотаторите (напр. κ на Коен, α на Крипендорф), така че измервате съгласуваност, а не вибрации. α е особено полезен, когато липсват етикети или множество анотатори покриват различни елементи [1].
-
Градинарство на ръба на случаите : редовно събирайте странни, враждебни или просто редки случаи.
-
Проверки за пристрастност : източници на данни за одит, демографски данни, региони, диалекти, условия на осветление и други.
-
Произход и поверителност : проследяване на произхода на данните, правата за използването им и как се обработва лична информация (какво се счита за лична информация, как се класифицира и предпазни мерки) [5].
-
Обратна връзка в обучението : етикетите не живеят в гробището на електронни таблици - те се връщат към активното учене, фината настройка и оценките.
Малко признание: ще пренапишете насоките си няколко пъти. Нормално е. Като подправянето на яхния, една малка промяна е от голямо значение.
Бърз анекдот от полето: един отбор добави една-единствена опция „не мога да реша - имам нужда от политика“ към потребителския си интерфейс. Съгласието се увеличи, защото анотаторите спряха да налагат предположения и дневникът на решенията стана по-ясен за една нощ. Скучните победи.
Сравнителна таблица: инструменти за етикетиране на данни с изкуствен интелект 🔧
Не е изчерпателно и да, формулировката е леко объркана нарочно. Промени в цените - винаги проверявайте на сайтовете на доставчиците, преди да съставите бюджет.
| Инструмент | Най-добро за | Цена (ориентировъчна) | Защо работи |
|---|---|---|---|
| Кутия за етикети | Предприятия, комбинация от CV + NLP | Безплатно ниво, базирано на употреба | Добри QA работни процеси, онтологии и показатели; справя се доста добре с мащабирането. |
| AWS SageMaker Ground Truth | AWS-центрирани организации, HITL конвейери | На задача + използване на AWS | Тясно свързан с AWS услуги, опции за „човек в цикъла“, надеждни инфраструктурни куки. |
| Мащабиране на изкуствен интелект | Сложни задачи, управлявана работна сила | Персонализирана оферта, многоетапна | Висококачествени услуги плюс инструменти; силни операции за трудни, крайни случаи. |
| Суперанотиране | Екипи с визия, стартиращи компании | Нива, безплатен пробен период | Изпипан потребителски интерфейс, сътрудничество, полезни инструменти, подпомагани от модел. |
| Чудо | Разработчици, които искат локален контрол | Доживотен лиценз, на място | Скриптируеми, бързи цикли, бързи рецепти - изпълнява се локално; чудесно за NLP. |
| Докано | НЛП проекти с отворен код | Безплатно, с отворен код | Ориентиран към общността, лесен за внедряване, подходящ за класификация и работа с последователности |
Проверка на реалността относно ценовите модели : доставчиците комбинират потребителски единици, такси за задача, нива, персонализирани корпоративни оферти, еднократни лицензи и отворен код. Политиките се променят; потвърдете спецификите директно с документацията на доставчика, преди поръчката да въведе числата в електронна таблица.
Най-често срещаните видове етикети, с бързи ментални картини 🧠
-
Класификация на изображението : един или множество етикети за цялото изображение.
-
Откриване на обекти : ограничаващи рамки или завъртени рамки около обекти.
-
Сегментация : маски на ниво пиксел - инстанция или семантика; странно задоволително, когато е чисто.
-
Ключови точки и пози : ориентири като стави или лицеви точки.
-
NLP : етикети на документи, обхвати за именувани обекти, взаимоотношения, кореференционни връзки, атрибути.
-
Аудио и реч : транскрипция, водене на дневник на говорещия, етикети за намерение, акустични събития.
-
Видео : кадрово разпределени кутии или писти, времеви събития, етикети за действия.
-
Времеви редове и сензори : прозоречни събития, аномалии, трендови режими.
-
Генеративни работни процеси : класиране на предпочитанията, червени флагове за безопасност, оценяване на истинността, оценка въз основа на рубрики.
-
Търсене и RAG : релевантност на заявката-документ, възможност за отговори, грешки при извличане.
Ако изображението е пица, сегментирането е перфектно изрязване на всяко парче, докато откриването е посочване и казване, че има парче... някъде там.
Анатомия на работния процес: от бриф до златни данни 🧩
Надеждният конвейер за етикетиране обикновено следва тази форма:
-
Дефинирайте онтологията : класове, атрибути, взаимоотношения и допустими двусмислия.
-
Проекти на насоки : примери, гранични случаи и трудни контрапримери.
-
Означете пилотен набор : вземете няколкостотин примера с анотации, за да откриете пропуски.
-
Измерване на съгласуваността : изчисляване на κ/α; преразглеждане на инструкциите, докато анотаторите се сближат [1].
-
Дизайн на QA : консенсусно гласуване, вземане на решения, йерархичен преглед и проверки на място.
-
Производствени цикли : следене на производителността, качеството и отклонението.
-
Затворете цикъла : преобучете, повторно семплирайте и актуализирайте рубриките, докато моделът и продуктът се развиват.
Съвет, за който ще си благодарите по-късно: водете си жив дневник на решенията . Записвайте всяко уточняващо правило, което добавяте, и защо . Бъдеще време - ще забравите контекста. Бъдеще време - ще се ядосвате за това.
Човекът е в течение, слабият надзор и манталитетът „повече етикети, по-малко кликвания“ 🧑💻🤝
„Човек в цикъла“ (HITL) означава, че хората си сътрудничат с модели по време на обучение, оценка или реални операции – потвърждавайки, коригирайки или отхвърляйки предложения за модели. Използвайте го, за да ускорите скоростта, като същевременно държите хората отговорни за качеството и безопасността. HITL е основна практика в рамките на надеждното управление на риска, свързан с изкуствения интелект (човешки надзор, документиране, наблюдение) [2].
Слабият надзор е различен, но допълващ трик: програмни правила, евристики, дистанционен надзор или други шумни източници генерират предварителни етикети в голям мащаб, след което се извършва тяхното премахване на шум. Програмирането на данни популяризира комбинирането на много шумни източници на етикети (известни още като функции за етикетиране ) и изучаването на тяхната точност, за да се получи по-висококачествен набор за обучение [3].
На практика, екипите с висока скорост комбинират и трите: ръчно етикетиране за златни комплекти, слаб надзор за първоначално стартиране и високотехнологично извличане на информация (HITL) за ускоряване на ежедневната работа. Това не е измама. Това е майсторство.
Активно учене: изберете следващото най-добро нещо, което да етикетирате 🎯📈
Активното обучение обръща обичайния поток. Вместо произволно вземане на проби от данни за етикетиране, вие позволявате на модела да поиска най-информативните примери: висока несигурност, високо несъгласие, разнообразни представители или точки близо до границата на решението. С добро вземане на проби, вие намалявате разхищението на етикетиране и се фокусирате върху въздействието. Съвременните проучвания, обхващащи задълбочено активно обучение, отчитат силна производителност с по-малко етикети, когато цикълът на оракула е добре проектиран [4].
Основна рецепта, с която можете да започнете, без драма:
-
Тренирайте с малък набор от семена.
-
Оценете немаркирания басейн.
-
Изберете горната K чрез неопределеност или несъгласие на модела.
-
Етикетирайте. Преобучете. Повтаряйте на малки партиди.
-
Следете кривите на валидиране и показателите за съгласуваност, за да не гоните шум.
Ще разберете, че работи, когато моделът ви се подобри, без месечната ви сметка за етикетиране да се удвои.
Контрол на качеството, който наистина работи 🧪
Не е нужно да кипвате океана. Стремете се към тези проверки:
-
Златни въпроси : инжектиране на известни елементи и проследяване на точността на всеки етикетиращ елемент.
-
Консенсус с преценка : два независими лейбъла плюс рецензент при разногласия.
-
Междуанотаторско съгласие : използвайте α, когато имате множество анотатори или непълни етикети, κ за двойки; не се фокусирайте върху един единствен праг - контекстът е важен [1].
-
Ревизии на насоките : повтарящите се грешки обикновено означават двусмислени инструкции, а не лоши анотатори.
-
Проверки за дрейф : сравняване на разпределенията на етикетите във времето, географията, входните канали.
Ако изберете само един показател, изберете съгласие. Това е бърз сигнал за състоянието му. Леко погрешна метафора: ако етикетите ви не са подравнени, моделът ви се движи на нестабилни колела.
Модели на работната сила: вътрешнофирмени, BPO, краудфрейминг или хибридни 👥
-
Вътрешно : най-подходящо за чувствителни данни, нюансирани области и бързо междуфункционално обучение.
-
Специализирани доставчици : постоянна производителност, обучени специалисти по осигуряване на качеството и покритие в различни часови зони.
-
Краудсорсинг : евтино на задача, но ще ви трябват силни златни сертификати и контрол на спама.
-
Хибриден : поддържайте основен експертен екип и се възползвайте от външен капацитет.
Каквото и да изберете, инвестирайте в начални етапи, обучение по насоки, калибриращи кръгове и честа обратна връзка. Евтините етикети, които изискват три повторни етикета, не са евтини.
Цена, време и възвръщаемост на инвестициите: бърза проверка на реалността 💸⏱️
Разходите се разделят на работна сила, платформа и QA. За грубо планиране, направете схема на вашия процес на разработка, както следва:
-
Целева производителност : брой артикули на ден на етикетиращо устройство × етикетиращи устройства.
-
Разходи за осигуряване на качеството : % двойно етикетирани или прегледани.
-
Процент на преработка : бюджет за повторна анотация след актуализации на насоките.
-
Повишаване на автоматизацията : предварителните етикети, подпомагани от модел, или програмните правила могат да намалят ръчните усилия със значителна част (не магическа, но значима).
Ако отделът за обществени поръчки поиска число, дайте им модел, а не предположение, и го актуализирайте, докато насоките ви се стабилизират.
Капани, на които ще попаднете поне веднъж, и как да ги избегнете 🪤
-
Пълзене на инструкциите : насоките се превръщат в новела. Поправете с дървета на решенията + прости примери.
-
Раздуване на класовете : твърде много класове с размити граници. Обединете или дефинирайте строго „друго“ с политика.
-
Прекомерно индексиране на скоростта : прибързаните етикети тихомълком тровят данните за обучение. Вмъкнете златни етикети; ограничете скоростта на най-лошите наклони.
-
Заключване на инструмента : форматите за експортиране са важни. Вземете решение рано за JSONL схеми и идемпотентни идентификатори на елементи.
-
Игнориране на оценката : ако първо не етикетирате набор за оценка, никога няма да сте сигурни какво се е подобрило.
Нека бъдем честни, ще се връщате назад от време на време. Няма проблем. Номерът е да запишете връщането назад, така че следващия път да е умишлено.
Мини-ЧЗВ: бързите и честни отговори 🙋♀️
В: Етикетиране срещу анотиране - различни ли са?
О: На практика хората ги използват взаимозаменяемо. Анотирането е акт на маркиране или етикетиране. Етикетирането често предполага мислене, основано на истината, с QA и насоки. Картоф, картоф.
В: Мога ли да пропусна етикетирането благодарение на синтетични данни или самоконтрол?
О: Можете намалите , не и да го пропуснете. Все още се нуждаете от етикетирани данни за оценка, предпазни мерки, фина настройка и специфично за продукта поведение. Слабият надзор може да ви увеличи мащаба, когато само ръчното етикетиране не е достатъчно [3].
В: Нуждая ли се все още от показатели за качество, ако рецензентите ми са експерти?
О: Да. Експертите също не са съгласни. Използвайте показатели за съгласуваност (κ/α), за да локализирате неясни дефиниции и двусмислени класове, след което стегнете онтологията или правилата [1].
В: Дали „човекът в цикъла“ е просто маркетинг?
О: Не. Това е практичен модел, при който хората ръководят, коригират и оценяват поведението на модела. Препоръчва се в рамките на надеждни практики за управление на риска, свързан с изкуствения интелект [2].
В: Как да приоритизирам какво да обознача следващото?
О: Започнете с активно обучение: вземете най-несигурните или разнообразни проби, така че всяко ново обозначение да ви даде максимално подобрение на модела [4].
Бележки от терен: малки неща, които правят голяма разлика ✍️
-
Поддържайте активен файл с таксономия във вашето хранилище. Третирайте го като код.
-
Запазвайте „преди“ и „след“ всеки път, когато актуализирате указанията.
-
Изградете малък, перфектен златен комплект и го защитете от замърсяване.
-
Редуване на сесиите за калибриране : показване на 10 елемента, безшумно етикетиране, сравнение, обсъждане, актуализиране на правила.
-
Анализ на етикетирането на трасета , любезно и стабилно табло за управление, без срам. Ще намерите възможности за обучение, а не злодеи.
-
Добавяйте предложения, подпомогнати от модел, бавно. Ако предварителните етикети са грешни, те забавят хората. Ако често са правилни, това е магия.
Заключителни бележки: етикетите са споменът на вашия продукт 🧩💡
Какво представлява етикетирането на данни с изкуствен интелект в основата си? Това е вашият начин да решите как моделът трябва да вижда света, едно внимателно решение в даден момент. Направете го добре и всичко надолу по веригата ще стане по-лесно: по-добра прецизност, по-малко регресии, по-ясни дебати относно безопасността и пристрастията, по-плавна доставка. Направете го небрежно и ще продължавате да се питате защо моделът се държи зле - когато отговорът се намира във вашия набор от данни с грешен етикет с име. Не всичко се нуждае от огромен екип или луксозен софтуер - но всичко се нуждае от грижа.
Твърде дълго не го прочетох : инвестирайте в ясна онтология, напишете ясни правила, измерете съгласуваността, комбинирайте ръчни и програмни етикети и оставете активното обучение да избере следващия ви най-добър елемент. След това итерирайте. Отново. И отново… и странно, ще ви хареса. 😄
Референции
[1] Artstein, R., & Poesio, M. (2008). Междукодерно споразумение за компютърна лингвистика . Computational Linguistics, 34(4), 555–596. (Обхваща κ/α и как да се интерпретира съгласието, включително липсващи данни.)
PDF
[2] NIST (2023). Рамка за управление на риска, свързан с изкуствения интелект (AI RMF 1.0) . (Човешки надзор, документация и контрол на риска за надежден изкуствен интелект.)
PDF
[3] Ratner, AJ, De Sa, C., Wu, S., Selsam, D., & Ré, C. (2016). Програмиране на данни: Бързо създаване на големи обучителни набори . NeurIPS. (Основен подход към слабото наблюдение и премахването на шумни етикети.)
PDF
[4] Ли, Д., Уанг, З., Чен, Й. и др. (2024). Проучване върху задълбоченото активно обучение: Последни постижения и нови граници . (Доказателства и модели за ефективно от етикетите активно обучение.)
PDF
[5] NIST (2010). SP 800-122: Ръководство за защита на поверителността на лична информация (PII) . (Какво се счита за PII и как да я защитите във вашия канал за данни.)
PDF