Какво е компютърно зрение в изкуствения интелект?

Ако някога сте отключвали телефона си с лице, сканирали сте касова бележка или сте се взирали в камера на каса, чудейки се дали ви оценява авокадото, значи сте се сблъсквали с компютърното зрение. Казано по-просто, компютърното зрение в изкуствения интелект е начинът, по който машините се учат да виждат и разбират изображения и видео достатъчно добре, за да вземат решения. Полезно ли е? Абсолютно. Понякога изненадващо? Също така да. И понякога малко зловещо, ако сме честни. В най-добрия си случай то превръща разхвърляните пиксели в практични действия. В най-лошия случай то гадае и се клатушка. Нека се задълбочим - както трябва.

Статии, които може да ви харесат след тази:

🔗 Какво е пристрастност в ИИ?
Как се формира пристрастност в ИИ системите и начини за нейното откриване и намаляване.

🔗 Какво е предсказуем ИИ?
Как предсказуемият ИИ използва данни, за да предвижда тенденции и резултати.

🔗 Какво е треньор по ИИ?
Отговорности, умения и инструменти, използвани от професионалистите, които обучават ИИ.

🔗 Какво представлява Google Vertex AI?
Общ преглед на унифицираната AI платформа на Google за изграждане и внедряване на модели.

Какво точно е компютърното зрение в изкуствения интелект? 📸

Компютърното зрение в ИИ е клон на изкуствения интелект, който учи компютрите да интерпретират и разсъждават върху визуални данни. Това е процесът от суровите пиксели до структурираното значение: „това е знак стоп“, „това са пешеходци“, „заварката е дефектна“, „общата сума на фактурата е тук“. Той обхваща задачи като класификация, откриване, сегментиране, проследяване, оценка на дълбочината, OCR и други – свързани чрез модели за обучение по шаблони. Формалната област обхваща класическата геометрия до съвременното дълбоко обучение, с практични наръчници, които можете да копирате и променяте. [1]

Бърз анекдот: представете си опаковъчна линия със скромна 720p камера. Лек детектор забелязва капачките, а прост тракер потвърждава, че са подравнени в продължение на пет последователни кадъра, преди да даде зелена светлина на бутилката. Не е луксозно, но е евтино, бързо и намалява необходимостта от повторна работа.

Какво прави компютърното зрение в изкуствения интелект полезно? ✅

• Поток от сигнал към действие : Визуалният вход се превръща в практичен изход. По-малко табло, повече решения.

• Обобщение : С правилните данни, един модел обработва голямо разнообразие от изображения. Не перфектно - понякога шокиращо добре.

• Използване на данни : Камерите са евтини и навсякъде. Зрението превръща този океан от пиксели в проницателност.

• Скорост : Моделите могат да обработват кадри в реално време със скромен хардуер или почти в реално време, в зависимост от задачата и резолюцията.

• Композибилност : Свържете прости стъпки в надеждни системи: откриване → проследяване → контрол на качеството.

• Екосистема : Инструменти, предварително обучени модели, бенчмаркове и подкрепа от общността - един разпростиращ се базар от код.

Нека бъдем честни, тайната съставка не е тайна: добри данни, дисциплинирана оценка, внимателно внедряване. Останалото е практика... и може би кафе. ☕

Как компютърното зрение в изкуствения интелект , в един разумен процес 🧪

1. Заснемане на изображения
   Камери, скенери, дронове, телефони. Изберете внимателно типа сензор, експозицията, обектива и честотата на кадрите. Влизане на „боклук“ и др.

2. Предварителна обработка:
   Преоразмеряване, изрязване, нормализиране, премахване на размазване или шум, ако е необходимо. Понякога малка промяна на контраста премества планини. [4]

3. Етикети и набори от данни
   Ограничителни рамки, полигони, ключови точки, текстови диапазони. Балансирани, представителни етикети - или вашият модел научава неравномерни навици.

4. Моделиране

   • Класификация : „Коя категория?“

   • Откриване : „Къде са обектите?“

   • Сегментиране : „Кои пиксели принадлежат на кое нещо?“

   • Ключови точки и поза : „Къде са ставите или ориентирите?“

   • OCR : „Какъв текст е на изображението?“

   • Дълбочина и 3D : „Колко далеч е всичко?“
     Архитектурите варират, но доминират конволюционните мрежи и трансформаторните модели. [1]

5. Обучение
   Разделяне на данни, настройване на хиперпараметри, регуларизиране, разширяване. Ранно спиране преди да запомните тапета.

6. Оценка
   Използвайте подходящи за задачата показатели като mAP, IoU, F1, CER/WER за OCR. Не избирайте само най-подходящите. Сравнявайте справедливо. [3]

7. внедряването
   за целта: пакетни задачи в облака, изводи на устройството, крайни сървъри. Следене на отклоненията. Преобучение, когато светът се промени.

Дълбоките мрежи катализираха качествен скок, след като големите набори от данни и изчислителните мощности достигнаха критична маса. Бенчмаркове като предизвикателството ImageNet направиха този напредък видим – и безмилостен. [2]

Основни задачи, които реално ще използвате (и кога) 🧩

• Класификация на изображението : Един етикет на изображение. Използвайте за бързи филтри, триаж или контрол на качеството.

• Откриване на обекти : Кутии около предмети. Предотвратяване на загуби в магазините, откриване на превозни средства, преброяване на диви животни.

• Сегментиране на инстанции : Силуети с точност до пиксела за всеки обект. Производствени дефекти, хирургически инструменти, агротехнологии.

• Семантична сегментация : Клас на пиксел без разделяне на инстанции. Градски пътни сцени, земна покривка.

• Откриване на ключови точки и поза : Стави, ориентири, черти на лицето. Спортна аналитика, ергономия, добавена реалност (AR).

• Проследяване : Следвайте обекти във времето. Логистика, трафик, сигурност.

• OCR и изкуствен интелект за документи : Извличане на текст и парсиране на оформлението. Фактури, касови бележки, формуляри.

• Дълбочина и 3D : Реконструкция от множество изгледи или монокулярни сигнали. Роботика, AR, картографиране.

• Визуални субтитри : Обобщаване на сцени на естествен език. Достъпност, търсене.

• Модели на зрение-език : Мултимодално разсъждение, зрение, допълнено с извличане на информация, обосновано осигуряване на качеството.

Атмосфера на малка каса: в магазините детектор сигнализира за липсващи облицовки на рафтовете; тракер предотвратява двойното отчитане, когато персоналът презарежда стоките; просто правило насочва кадрите с ниска достоверност към проверка от човек. Това е малък оркестър, който най-вече поддържа синхрон.

Сравнителна таблица: инструменти за по-бърза доставка 🧰

Леко странно нарочно. Да, разстоянието е странно - знам.

Какво определя качеството в компютърното зрение в изкуствения интелект 🔧

• Обхват на данните : Промени в осветлението, ъгли, фонове, гранични случаи. Ако е възможно, включете го.

• Качество на етикетите : Непоследователните кутии или небрежните полигони саботират картата на достъпа (mAP). Малко QA е от голямо значение.

• Интелигентни допълнения : Изрязване, завъртане, трептене на яркостта, добавяне на синтетичен шум. Бъдете реалистични, а не произволен хаос.

• Съответствие при избора на модел : Използвайте откриване, където е необходимо - не принуждавайте класификатора да гадае местоположенията.

• Метрики, които съответстват на въздействието : Ако фалшиво отрицателните резултати са по-болезнени, оптимизирайте припомнянето. Ако фалшиво положителните резултати са по-болезнени, прецизността е на първо място.

• Стегнат цикъл на обратна връзка : Регистриране на грешки, преетикетиране, преобучение. Изплакване, повторение. Леко скучно - изключително ефективно.

За откриване/сегментиране, стандартът на общността е Average Precision ( , осреднена по праговете на IoU - известна още като mAP в стил COCO . Познаването на това как се изчисляват IoU и AP@{0.5:0.95} предпазва класациите от заслепяване с десетични числа. [3]

Случаи на употреба от реалния свят, които не са хипотетични 🌍

• Търговия на дребно : Анализ на рафтовете, предотвратяване на загуби, наблюдение на опашки, съответствие с планограмата.

• Производство : Откриване на повърхностни дефекти, проверка на сглобката, насочване на роботи.

• Здравеопазване : Рентгенологично триаж, инструментално откриване, клетъчна сегментация.

• Мобилност : ADAS, камери за наблюдение на трафика, заетост на паркингите, проследяване на микромобилността.

• Земеделие : Преброяване на реколтата, откриване на болести, готовност за жътва.

• Застраховки и финанси : Оценка на щетите, проверки за KYC, сигнали за измами.

• Строителство и енергетика : Спазване на изискванията за безопасност, откриване на течове, наблюдение на корозия.

• Съдържание и достъпност : Автоматични субтитри, модериране, визуално търсене.

Модел, който ще забележите: заменете ръчното сканиране с автоматично сортиране, след което ескалирайте към хора, когато доверието спадне. Не е бляскаво, но се мащабира.

Данни, етикети и показатели, които са важни 📊

• Класификация : Точност, F1 за дисбаланс.

• Откриване : mAP през праговете на IO; проверка на AP и контейнери по размер за всеки клас. [3]

• Сегментиране : mIoU, Dice; проверете и грешките на ниво инстанция.

• Проследяване : MOTA, IDF1; качеството на повторната идентификация е тихият герой.

• OCR : Процент на грешки в символите (CER) и Процент на грешки в думите (WER); грешките в оформлението често доминират.

• Регресионни задачи : Дълбочината или позата използват абсолютни/относителни грешки (често в логаритмични скали).

Документирайте протокола си за оценка, за да могат другите да го възпроизведат. Не е привлекателно, но ви прави честни.

Изграждане срещу покупка - и къде да го използвате 🏗️

• Облак : Най-лесен за стартиране, чудесен за пакетни натоварвания. Следете разходите за изход.

• Крайни устройства : По-ниска латентност и по-добра поверителност. Ще ви е грижа за квантуване, подрязване и ускорители.

• Мобилно на устройството : Страхотно, когато е удобно. Оптимизирайте моделите и следете за батерията.

• Хибрид : Предфилтър на ръба, тежко натоварване в облака. Добър компромис.

Скучно надежден стек: прототипиране с PyTorch, обучение на стандартен детектор, експортиране в ONNX, ускоряване с OpenVINO/ONNX Runtime и използване на OpenCV за предварителна обработка и геометрия (калибриране, хомография, морфология). [4]

Рискове, етика и трудните моменти, за които е трудно да се говори ⚖️

Системите за зрение могат да наследят отклонения в наборите от данни или оперативни слепи зони. Независими оценки (напр. NIST FRVT) са измерили демографските разлики в процентите на грешки при разпознаване на лица в различните алгоритми и условия. Това не е причина за паника, но е причина за внимателно тестване, документиране на ограниченията и непрекъснато наблюдение в производствения процес. Ако внедрявате случаи на употреба, свързани с идентичността или безопасността, включете механизми за човешки преглед и обжалване. Поверителността, съгласието и прозрачността не са допълнителни екстри. [5]

Бърза пътна карта, която всъщност можете да следвате 🗺️

1. Дефинирайте решението.
   Какво действие трябва да предприеме системата, след като види изображение? Това ви предпазва от оптимизиране на показателите за суета.

2. Съберете непълен набор от данни.
   Започнете с няколкостотин изображения, които отразяват реалната ви среда. Надпишете ги внимателно – дори ако това сте вие ​​и три лепящи се листчета.

3. Изберете базов модел.
   Изберете проста гръбначна мрежа с предварително обучени тегла. Не се стремете към екзотични архитектури все още. [1]

4. Обучение, записване, оценка.
   Проследяване на показатели, точки на объркване и режими на отказ. Водене на тетрадка със „странни случаи“ - сняг, отблясъци, отражения, странни шрифтове.

5. Затегнете цикъла.
   Добавете твърди негативи, коригирайте отклонението на етикетите, коригирайте увеличенията и пренастройте праговете. Малките корекции се натрупват. [3]

6. Разгръщане на тънка версия,
   квантуване и експортиране. Измерване на латентността/пропускателната способност в реална среда, а не с играчка-бенчмарк.

7. Мониторирайте и итерирайте.
   Събирайте грешки, преназначавайте, преобучайте. Планирайте периодични оценки, за да не се „замърси“ моделът ви.

Професионален съвет: отбележете малка възражения, отправени от най-циничния ви съотборник. Ако той не може да ги поправи, вероятно сте готови.

Често срещани проблеми, които ще искате да избягвате 🧨

• Обучение върху чисти студийни изображения, внедряване в реалния свят с дъжд върху обектива.

• Оптимизиране за цялостна mAP, когато наистина ви е грижа за един критичен клас. [3]

• Пренебрегване на класовия дисбаланс и след това чудене защо редките събития изчезват.

• Прекомерно увеличаване, докато моделът не научи изкуствени артефакти.

• Пропускане на калибрирането на камерата и след това вечна борба с грешките в перспективата. [4]

• Вярване на числата в класацията, без да се повтаря точната настройка за оценка. [2][3]

Източници, които си струва да добавите в отметките си 🔗

Ако харесвате основни материали и бележки от курса, те са отличен избор за основи, практика и бенчмаркове. Вижте „Референции“ за връзки: бележки за CS231n, документацията за предизвикателството ImageNet, документацията за набор от данни/оценка на COCO, документацията на OpenCV и докладите на NIST FRVT. [1][2][3][4][5]

Заключителни бележки - или „Твърде дълго, не прочетох“ 🍃

Компютърното зрение в изкуствения интелект превръща пикселите в решения. То блести, когато съчетаете правилната задача с правилните данни, измервате правилните неща и повтаряте с необичайна дисциплина. Инструментариумът е щедър, бенчмарковете са публични, а пътят от прототипа до производството е изненадващо кратък, ако се фокусирате върху крайното решение. Подредете етикетите си правилно, изберете показатели, които съответстват на въздействието, и оставете моделите да свършат тежката работа. И ако една метафора помага - представете си го като да учите много бърз, но буквален стажант да разпознава кое е важно. Показвате примери, коригирате грешки и постепенно му се доверявате с реална работа. Не е перфектно, но достатъчно близо, за да бъде трансформиращо. 🌟

Референции

1. CS231n: Дълбоко обучение за компютърно зрение (бележки от курса) - Станфордски университет.
   прочетете повече

2. Предизвикателство за визуално разпознаване в голям мащаб на ImageNet (документ) - Русаковски и др.
   прочетете повече

3. COCO набор от данни и оценка - Официален сайт (дефиниции на задачи и mAP/IO конвенции).
   прочетете повече

4. Документация на OpenCV (v4.x) - Модули за предварителна обработка, калибриране, морфология и др.
   прочетете повече

5. NIST FRVT Част 3: Демографски ефекти (NISTIR 8280) - Независима оценка на точността на разпознаване на лица в различни демографски групи.
   Прочетете повече

Намерете най-новия изкуствен интелект в официалния магазин за асистенти с изкуствен интелект

За нас