Какво е Edge AI?

Edge AI изтласква интелигентността до местата, където се раждат данните. Звучи луксозно, но основната идея е проста: мисленето се извършва точно до сензора, така че резултатите да се показват сега, а не по-късно. Получавате скорост, надеждност и прилична история за поверителност, без облакът да пази всяко решение. Нека го разгледаме - включени са преки пътища и странични куестове. 😅

Статии, които може да ви харесат след тази:

🔗 Какво е генеративен изкуствен интелект
Ясно обяснение на генеративния изкуствен интелект, как работи и практическите му приложения.

🔗 Какво е агентивен ИИ
Общ преглед на агентния изкуствен интелект, автономното поведение и моделите на приложения в реалния свят.

🔗 Какво е мащабируемост на изкуствения интелект
Научете как да мащабирате AI системи надеждно, ефикасно и рентабилно.

🔗 Какво е софтуерна рамка за изкуствен интелект
Разбивка на софтуерните рамки за изкуствен интелект, предимства на архитектурата и основи на внедряването.

Какво е Edge AI? Кратко определение 🧭

Edge AI е практиката да се изпълняват обучени модели за машинно обучение директно върху или близо до устройствата, които събират данни - телефони, камери, роботи, автомобили, носими устройства, индустриални контролери и др. Вместо да изпраща сурови данни до отдалечени сървъри за анализ, устройството обработва входните данни локално и изпраща само обобщения или нищо. По-малко двупосочни обработки, по-малко забавяне, повече контрол. Ако искате ясно, неутрално към доставчици обяснение, започнете оттук. [1]

Какво прави Edge AI всъщност полезен? 🌟

• Ниска латентност - решенията се вземат на устройството, така че отговорите се усещат мигновено за задачи, свързани с възприятието, като откриване на обекти, забелязване на „будни думи“ или предупреждения за аномалии. [1]

• Поверителност по местоположение - чувствителните данни могат да останат на устройството, което намалява излагането на риск и помага при дискусиите за минимизиране на данните. [1]

• Спестяване на трафик - изпращайте функции или събития вместо сурови потоци. [1]

• Устойчивост - работи при нестабилна свързаност.

• Контрол на разходите - по-малко цикли на облачни изчисления и по-нисък изход.

• Осъзнаване на контекста - устройството „усеща“ средата и се адаптира.

Бърз анекдот: пилотен проект в търговията на дребно замени постоянните качвания от камери с класификация на устройството „човек срещу обект“ и включи само почасово броене и клипове с изключения. Резултат: известия под 200 ms на границата на рафта и ~90% спад в трафика на качващата връзка - без промяна на WAN договорите на магазина. (Метод: локално извеждане, групиране на събития, само аномалии.)

Edge AI срещу облачен AI - бързият контраст 🥊

• Къде се извършват изчисленията : edge = на устройството/близо до устройството; cloud = отдалечени центрове за данни.

• Латентност : edge ≈ реално време; облакът има двупосочни обработки.

• Преместване на данни : първо филтрира/компресира данните на ръба; облакът обича качванията с пълна прецизност.

• Надеждност : edge продължава да работи офлайн; облакът се нуждае от свързаност.

• Управление : периферията поддържа минимизиране на данните; облакът централизира надзора. [1]

Не е или-или. Интелигентните системи съчетават и двете: бързи решения на местно ниво, по-задълбочен анализ и централизирано обучение на автопарка. Хибридният отговор е скучен - и правилен.

Как всъщност работи Edge AI „под капака“ 🧩

1. Сензорите улавят сурови сигнали - аудио кадри, пиксели на камерата, докосвания от IMU, следи от вибрации.

2. Предварителната обработка преобразува тези сигнали в удобни за модела характеристики.

3. Изпълнителната среда за извод изпълнява компактен модел на устройството, използвайки ускорители, когато са налични.

4. Постпроцесирането превръща изходите в събития, етикети или контролни действия.

5. Телеметрията качва само това, което е полезно: обобщения, аномалии или периодична обратна връзка.

Средствата за изпълнение на устройства, които ще видите в реално време, включват LiteRT (преди TensorFlow Lite), ONNX Runtime и OpenVINO . Тези инструменти изстискват пропускателна способност от ограничени бюджети за мощност/памет с трикове като квантуване и сливане на оператори. Ако харесвате основните неща, документацията им е солидна. [3][4]

Къде се появява - реални случаи на употреба, които можете да посочите 🧯🚗🏭

• Визия на ръба : камери на звънци (хора срещу домашни любимци), сканиране на рафтове в магазините за търговия на дребно, дронове, забелязващи дефекти.

• Аудио на устройството : думи за събуждане, диктовка, откриване на течове в растения.

• Индустриален IoT : двигатели и помпи, наблюдавани за вибрационни аномалии преди повреда.

• Автомобили : наблюдение на водача, разпознаване на лентата на движение, асистенти за паркиране - за под секунда или за кратко време.

• Здравеопазване : носими устройства сигнализират за аритмии локално; синхронизирайте обобщенията по-късно.

• Смартфони : подобряване на снимки, откриване на спам обаждания, моменти от типа „как телефонът ми направи това офлайн“.

За формални дефиниции (и разговора за „мъгла срещу ръб“) вижте концептуалния модел на NIST. [2]

Хардуерът, който го прави бърз 🔌

Няколко платформи често биват проверявани по име:

• NVIDIA Jetson - модули, задвижвани от графичен процесор, за роботи/камери, вибрации на швейцарски армейски нож за вграден изкуствен интелект.

• Google Edge TPU + LiteRT - ефикасен целочислен извод и рационализирана среда за изпълнение за проекти с ултраниска консумация на енергия. [3]

• Apple Neural Engine (ANE) - прецизно машинно обучение на устройства за iPhone, iPad и Mac; Apple публикува практическа работа за ефективно внедряване на трансформатори в ANE. [5]

• Процесори/вградени графични процесори/неурони на Intel с OpenVINO - „пиши веднъж, внедри навсякъде“ в хардуер на Intel; полезни оптимизационни пропуски.

• ONNX Runtime everywhere - неутрална среда за изпълнение с подключваеми доставчици на изпълнение на телефони, компютри и шлюзове. [4]

Имате ли нужда от всички тях? Не съвсем. Изберете един силен път, който е подходящ за вашия флот и се придържайте към него - текучеството е враг на вградените екипи.

Софтуерният стек - кратка обиколка 🧰

• Компресия на модела : квантуване (често до int8), подрязване, дестилация.

• Ускорение на ниво оператор : ядра, настроени към вашия силиций.

• Време за изпълнение : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Обвивки за внедряване : контейнери/пакети с приложения; понякога микросървиси на шлюзове.

• MLOps за периферията : актуализации на OTA модели, A/B внедряване, телеметрични цикли.

• Контроли за поверителност и сигурност : криптиране на устройството, защитено зареждане, атестация, анклави.

Мини-случай: екип от инспекционни дронове е превърнал тежък детектор в квантован студентски модел за LiteRT, след което е обединил NMS на устройството. Времето за полет се е подобрило с ~15% благодарение на по-ниското потребление на изчисления; обемът на качване е намалял до кадри с изключения. (Метод: заснемане на набор от данни на място, калибриране след квантуване, A/B в сянка преди пълното внедряване.)

Сравнителна таблица - популярни опции за Edge AI 🧪

Истински разговор: тази маса е своеобразна и малко разхвърляна - точно както в реалния свят.

Как да изберем път за Edge AI - малко дърво на решенията 🌳

• Трудно реално време в живота ви? Започнете с ускорители + квантовани модели.

• Много типове устройства? Предпочитайте ONNX Runtime или OpenVINO за преносимост. [4]

• Пускане на мобилно приложение? LiteRT е пътят на най-малкото съпротивление. [3]

• Роботика или анализ на камерата? Операциите на Jetson, удобни за графични процесори, спестяват време.

• Строга политика за поверителност? Запазете данните локално, криптирайте в покой, регистрирайте агрегати, а не сурови кадри.

• Малък екип? Избягвайте екзотичните инструменти - скучното е красиво.

• Моделите ще се променят често? Планирайте OTA и телеметрията от първия ден.

Рискове, ограничения и скучните, но важни части 🧯

• Дрейф на модела - средата се променя; наблюдавайте разпределенията, изпълнявайте режими на сянка, преобучете периодично.

• Тавани за изчисления - ограничената памет/мощност принуждават по-малки модели или по-ниска точност.

• Сигурност - приема се физически достъп; използвайте защитено зареждане, подписани артефакти, атестация, услуги с най-ниски привилегии.

• Управление на данни - локалната обработка помага, но все пак се нуждаете от съгласие, съхранение и телеметрия с ограничен обхват.

• Операции с автопарка - устройствата се изключват от мрежата в най-неподходящите моменти; проектирайте отложени актуализации и възобновяеми качвания.

• Миксът от таланти - embedded + ML + DevOps е разнороден екип; обучавайте се рано.

Практична пътна карта за изпращане на нещо полезно 🗺️

1. Изберете един случай на употреба с измеримо откриване на дефекти в стойността на ред 3, дума за събуждане на интелигентния високоговорител и т.н.

2. Съберете подреден набор от данни , отразяващ целевата среда; вмъкнете шум, за да съответства на реалността.

3. Прототип върху развойна платформа, близка до производствения хардуер.

4. Компресирайте модела с квантуване/подрязване; измерете честно загубата на точност. [3]

5. Опаковайте извода в чист API с обратно налягане и watchdogs - защото устройствата замръзват в 2 часа сутринта

6. Проектирайте телеметрия , която зачита поверителността: брой изпращания, хистограми, характеристики, извлечени от ръбовете.

7. Засилена сигурност : подписани двоични файлове, сигурно зареждане, минимално отворени услуги.

8. План OTA : поетапно внедряване, „канарки“, незабавно връщане към предишни версии.

9. пилотирай в някой ъглов калъф - ако оцелее там, ще оцелее навсякъде.

10. Мащабирайте с наръчник : как ще добавяте модели, ще ротирате ключове, ще архивирате данни - така че проект №2 да не е хаос.

ЧЗВ - кратки отговори на за Edge AI ❓

Дали Edge AI просто изпълнява малък модел на мъничък компютър?
В общи линии, да, но размерът не е цялата история. Става въпрос и за бюджети за латентност, обещания за поверителност и оркестриране на много устройства, действащи локално, но учещи се глобално. [1]

Мога ли да тренирам и на ръба на мрежата?
Съществува леко обучение/персонализиране на устройството; по-тежкото обучение все още се изпълнява централизирано. ONNX Runtime документира опциите за обучение на устройството, ако сте авантюристично настроени. [4]

Какво е Edge AI спрямо fog computing?
Fog и edge са братовчеди. И двете приближават изчисленията до източниците на данни, понякога чрез близки шлюзове. За формални дефиниции и контекст вижте NIST. [2]

Винаги ли Edge AI подобрява поверителността?
Помага, но не е магия. Все още се нуждаете от минимизиране, сигурни пътища за актуализиране и внимателно регистриране. Отнасяйте се към поверителността като към навик, а не като към квадратче за отметка.

Дълбоки анализи, които може би наистина ще прочетете 📚

1) Оптимизация на модела, която не нарушава точността

Квантоването може да намали паметта и да ускори операциите, но калибрирането с представителни данни може да доведе до халюцинации на катерици там, където има пътни конуси. Дестилацията – учител, насочващ по-дребен ученик – често запазва семантиката. [3]

2) Време за изпълнение на извод за ръбове на практика

Интерпретаторът на LiteRT умишлено е безстатично прехвърляне на памет по време на изпълнение. ONNX Runtime се свързва с различни ускорители чрез доставчици на изпълнение. Нито един от тях не е чаровно решение; и двата са стабилни чукове. [3][4]

3) Устойчивост в дивата природа

Топлина, прах, нестабилно захранване, небрежен Wi-Fi: изградете наблюдателни устройства, които рестартират тръбопроводите, кешират решения и съгласуват, когато мрежата се възстанови. По-малко бляскаво от „attention heads“-ите, но по-важно.

Фразата, която ще повтаряте на срещи - Какво е Edge AI 🗣️

Edge AI приближава интелигентността до данните, за да отговори на практическите ограничения на латентността, поверителността, честотната лента и надеждността. Магията не е в един чип или рамка - тя е в мъдрия избор какво и къде да се изчислява.

Заключителни бележки - Твърде дълго, не го прочетох 🧵

Edge AI изпълнява модели близо до данните, така че продуктите да изглеждат бързи, поверителни и стабилни. Ще съчетаете локално извеждане с облачен надзор за най-доброто от двата свята. Изберете среда за изпълнение, която съответства на вашите устройства, разчитайте на ускорители, когато е възможно, поддържайте моделите подредени с компресия и проектирайте операциите на флота така, сякаш работата ви зависи от това - защото, ами, може би. Ако някой попита какво е Edge AI , кажете: интелигентни решения, взети локално, навреме. След това се усмихнете и сменете темата на батерии. 🔋🙂

Референции

1. IBM - Какво е Edge AI? (определение, предимства).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Концептуален модел за изчисления в мъгла (формален контекст за мъгла/ръб).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (преди TensorFlow Lite) (време на изпълнение, квантуване, миграция).
   https://ai.google.dev/edge/littert

4. ONNX Runtime - Обучение на устройство (преносима среда за изпълнение + обучение на периферни устройства).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Изследване на Apple за машинно обучение - Разгръщане на трансформатори върху Apple Neural Engine (бележки за ефективност на ANE).
   https://machinelearning.apple.com/research/neural-engine-transformers

Намерете най-новия изкуствен интелект в официалния магазин за асистенти с изкуствен интелект

За нас