Как изкуственият интелект предсказва тенденции?

Изкуственият интелект може да забелязва модели, които невъоръженото око пропуска, изваждайки на повърхността сигнали, които на пръв поглед изглеждат като шум. Ако се направи правилно, това превръща обърканото поведение в полезна прогноза - продажби следващия месец, трафик утре, отлив по-късно това тримесечие. Ако се направи погрешно, това е уверено свиване на рамене. В това ръководство ще разгледаме точните механизми на това как изкуственият интелект предсказва тенденциите, откъде идват печалбите и как да избегнем заблудата от красиви графики. Ще го направя практичен, с няколко момента на реален разговор и от време на време повдигане на вежди 🙃.

Статии, които може да ви харесат след тази:

🔗 Как да измерим производителността на изкуствения интелект
Ключови показатели за оценка на точността, ефективността и надеждността на системите с изкуствен интелект.

🔗 Как да говорим с изкуствен интелект
Практически съвети за комуникация с изкуствен интелект за подобряване на качеството на отговорите.

🔗 Какво подсказва изкуственият интелект
Ясно обяснение как подканите влияят на поведението и резултатите от ИИ.

🔗 Какво е етикетиране на данни с изкуствен интелект
Въведение в ефективното етикетиране на данни за обучение на модели за машинно обучение.

Какво прави прогнозирането на тенденциите с изкуствен интелект добро ✅

Когато хората питат как изкуственият интелект предсказва тенденции, те обикновено имат предвид: как прогнозира нещо несигурно, но повтарящо се. Доброто предсказване на тенденции има няколко скучни, но красиви съставки:

• Данни със сигнал - не можеш да изцедиш портокалов сок от камък. Нуждаеш се от минали стойности и контекст.

• Характеристики, които отразяват реалността - сезонност, празници, промоции, макро контекст, дори времето. Не всички, а само тези, които ви вълнуват.

• Модели, които отговарят на часовника - методи, съобразени с времето, които зачитат подреждането, пропуските и отклоненията.

• Оценка, която отразява внедряването - бектестове, които симулират как наистина ще прогнозирате. Без надникване [2].

• Мониторинг на промените - светът се променя; вашият модел също трябва да се промени [5].

Това е скелетът. Останалото са мускули, сухожилия и малко кофеин.

Основният тръбопровод: как изкуственият интелект предсказва тенденции от сурови данни до прогнози 🧪

1. Събиране и подравняване на данни.
   Обединяване на целевите серии плюс екзогенни сигнали. Типични източници: продуктови каталози, рекламни разходи, цени, макроиндекси и събития. Подравняване на времеви отпечатъци, обработка на липсващи стойности, стандартизиране на мерни единици. Не е бляскаво, но е критично.

2. Инженерни функции
   Създавайте закъснения, пълзящи средни стойности, движещи се квантили, флагове за ден от седмицата и специфични за домейна индикатори. За сезонно коригиране много специалисти разлагат серията на тренд, сезонни и остатъчни компоненти преди моделиране; програмата X-13 на Бюрото за преброяване на населението на САЩ е каноничният справочник за това как и защо това работи [1].

3. Изберете семейство модели.
   Имате три големи кофи:

• Класическа статистика : ARIMA, ETS, пространство на състоянията/Калман. Интерпретируема и бърза.

• Машинно обучение : градиентно усилване, произволни гори с функции, съобразени с времето. Гъвкаво в много серии.

• Дълбоко обучение : LSTM, темпорални CNN, трансформатори. Полезно, когато имате много данни и сложна структура.

4. Правилно тестване на исторически данни.
   Кръстосаната валидация на времеви серии използва подвижен произход, така че никога не се тренира върху бъдещето, докато се тества миналото. Това е разликата между честната точност и пожелателното мислене [2].

5. Прогнозиране, количествено определяне на несигурността и отправяне на
   прогнози за връщане с интервали, наблюдение на грешки и преобучение, докато светът се променя. Управляваните услуги обикновено включват показатели за точност (напр. MAPE, WAPE, MASE) и прозорци за обратно тестване, което улеснява управлението и таблата за управление [3].

Една кратка история за войната: при едно от пусканията отделихме допълнителен ден за функции на календара (регионални празници + промоционални флагове) и намалихме грешките в ранните етапи осезаемо повече, отколкото за размяна на модели. Качеството на функциите победи новостта на модела - тема, която ще видите отново.

Сравнителна таблица: инструменти, които помагат на изкуствения интелект да предсказва тенденции 🧰

Несъвършена нарочно - истинска маса с няколко човешки странности.

Да, формулировката е неравна. Такъв е реалният живот.

Инженеринг, който всъщност движи иглата 🧩

Най-простият и полезен отговор на въпроса как изкуственият интелект предсказва тенденции е следният: превръщаме поредицата в таблица с контролирано обучение, която помни времето. Няколко основни стъпки:

• Закъснения и прозорци : включват y[t-1], y[t-7], y[t-28], плюс търкалящи се средства и стандартно отклонение. Улавя импулса и инерцията.

• Сигнали за сезонност : месец, седмица, ден от седмицата, час от деня. Членовете на Фурие дават гладки сезонни криви.

• Календар и събития : празници, пускане на продукти, промени в цените, промоции. Празничните ефекти в стил „Пророк“ са просто функции с предишно съдържание.

• Декомпозиция : извадете сезонния компонент и моделирайте остатъка, когато моделите са силни; X-13 е добре тестван базов модел за това [1].

• Външни регресори : време, макроиндекси, преглеждания на страници, интерес към търсене.

• Съвети за взаимодействие : прости кръстчета като promo_flag × day_of_week. Не е лесно, но често работи.

Ако имате множество свързани серии – да речем хиляди SKU – можете да обедините информация от тях с йерархични или глобални модели. На практика, глобален модел с градиентно усилване и функции, съобразени с времето, често е по-ефективен от очакваното.

Избор на образцови семейства: приятелско сбиване 🤼♀️

• на ARIMA/ETS
  : интерпретируеми, бързи, солидни базови линии. Минуси: настройката на серия може да стане трудна при голям мащаб. Частичната автокорелация може да помогне за разкриване на поръчки, но не очаквайте чудеса.

• Градиентно усилване.
  Плюсове: обработва таблични характеристики, устойчив е на смесени сигнали, чудесен е с много свързани серии. Минуси: трябва да проектирате добре времевите характеристики и да уважавате причинно-следствената връзка.

• на дълбокото обучение
  : улавя нелинейност и модели между серии. Недостатъци: изисква много данни, по-трудно е да се отстрани грешката. Когато имате богат контекст или дълги истории, то може да блесне; в противен случай е спортна кола в пиковия трафик.

• Хибрид и ансамбли.
  Нека бъдем честни, комбинирането на сезонна базова линия с градиентен бустер и смесването с лек LSTM е не е необичайно виновно удоволствие. Отказвал съм се от „чистотата на един модел“ повече пъти, отколкото си признавам.

Причинно-следствена връзка срещу корелация: боравете внимателно 🧭

Само защото две линии се движат заедно, не означава, че едната задвижва другата. Причинно-следствената връзка по Грейнджър проверява дали добавянето на кандидат-водещ фактор подобрява прогнозирането за целта, като се има предвид нейната собствена история. Става въпрос за предсказваща полезност при линейни авторегресивни допускания, а не за философска причинно-следствена връзка - фино, но важно разграничение [4].

В производствения процес все още проверявате разумността с познания в областта. Пример: ефектите от делничните дни са важни за търговията на дребно, но добавянето на кликванията върху рекламите от миналата седмица може да е излишно, ако разходите вече са в модела.

Тестване на данни от миналото и показатели: къде се крият повечето грешки 🔍

За да оцените реалистично как изкуственият интелект предсказва тенденциите, имитирайте как ще правите прогнози в реални условия:

• Кръстосана валидация с подвижен произход : многократно обучение върху по-ранни данни и прогнозиране на следващия фрагмент. Това спазва времевия ред и предотвратява бъдещи изтичания [2].

• Метрики за грешки : изберете това, което отговаря на вашите решения. Процентните показатели като MAPE са популярни, но претеглените показатели (WAPE) или тези без мащаб (MASE) често се държат по-добре за портфейли и агрегати [3].

• Интервали на прогнозиране : не просто давайте точка. Съобщавайте несигурността. Ръководителите рядко обичат диапазоните, но обичат по-малко изненади.

Малка забележка: когато елементите могат да бъдат нулеви, процентните показатели стават странни. Предпочитайте абсолютни или мащабирани грешки или добавете малко отместване - просто бъдете последователни.

Дрейфът се случва: откриване и адаптиране към промяната 🌊

Пазарите се изместват, предпочитанията се отклоняват, сензорите остаряват. Отклонението на концепциите е универсалният показател за това кога се променя връзката между входните данни и целта. Можете да наблюдавате отклонението със статистически тестове, грешки с плъзгащи се прозорци или проверки за разпределение на данните. След това изберете стратегия: по-кратки прозорци за обучение, периодично преобучение или адаптивни модели, които се актуализират онлайн. Проучванията в тази област показват множество видове отклонение и политики за адаптация; няма една-единствена политика, която да е подходяща за всички [5].

Практическа тактика: задайте прагове за предупреждение при грешка в прогнозата на живо, преобучете се по график и поддържайте готова резервна базова линия. Не е бляскаво - но е много ефективно.

Обяснимост: отваряне на черната кутия без да се счупи 🔦

Заинтересованите страни питат защо прогнозата се е повишила. Разумно е. Инструменти, независими от модела, като SHAP, приписват прогнозата на характеристики по теоретично обоснован начин, помагайки ви да видите дали сезонността, цената или промоционалният статус са повлияли на числото. Това няма да докаже причинно-следствена връзка, но подобрява доверието и отстраняването на грешки.

Според моите собствени тестове, седмичната сезонност и промоционалните флагове са склонни да доминират в краткосрочните прогнози за търговията на дребно, докато дългосрочните се изместват към макро показатели. Вашите очаквания ще варират - приятно.

Облак и MLOps: прогнози за доставка без тиксо 🚚

Ако предпочитате управлявани платформи:

• Google Vertex AI Forecast предоставя направляван работен процес за приемане на времеви серии, изпълнение на AutoML прогнозиране, backtesting и внедряване на крайни точки. Освен това, той работи добре със съвременен стек от данни.

• Amazon Forecast се фокусира върху мащабно внедряване, със стандартизирани бектестове и показатели за точност, които можете да извлечете чрез API, което помага с управлението и таблата за управление [3].

И двата варианта намаляват шаблонните задачи. Просто следете с едното око разходите, а с другото – произхода на данните. Напълно сложно, но осъществимо е с две очи.

Кратко описание на кейса: от сурови кликвания до трендов сигнал 🧭✨

Нека си представим, че прогнозирате дневните регистрации за безплатно приложение:

1. Данни : извличане на дневни регистрации, разходи за реклама по канал, прекъсвания на сайта и опростен календар за промоции.

2. Характеристики : закъснения 1, 7, 14; 7-дневна пълзяща средна; флагове за ден от седмицата; двоичен промоционален флаг; сезонен член на Фурие; и разложен сезонен остатък, така че моделът да се фокусира върху неповтарящата се част. Сезонното разлагане е класически ход в официалната статистика - скучно име, голяма печалба [1].

3. Модел : започнете с регресор с градиентно усилване като глобален модел във всички географски области.

4. Бектест : подвижен произход със седмични сгъвания. Оптимизирайте WAPE върху основния си бизнес сегмент. Спазването на времето бектестовете не подлежат на обсъждане за надеждни резултати [2].

5. Обяснение : проверявайте ежеседмично посочването на функциите, за да видите дали промоционалният флаг всъщност прави нещо друго, освен да изглежда готино в слайдовете.

6. Монитор : ако ефектът от промоцията отслабне или моделите през седмицата се променят след промяна на продукта, задействайте преобучение. Дрейфът не е грешка - това е сряда [5].

Резултатът: достоверна прогноза с интервали на доверие, плюс табло, което показва какво е задвижило стрелката. По-малко дебати, повече действия.

Капани и митове, които да заобиколим тихо 🚧

• Мит: повече функции винаги са по-добри. Не. Твърде много неподходящи функции водят до прекомерно напасване. Запазете това, което помага на бектеста и е в съответствие с домейна.

• Мит: дълбоките мрежи побеждават всичко. Понякога да, често не. Ако данните са кратки или шумни, класическите методи печелят по отношение на стабилност и прозрачност.

• Капан: изтичане. Случайното допускане на утрешна информация в днешното обучение ще поласкае вашите показатели и ще накаже вашата производителност [2].

• Капан: гонене на последния знак за десетичната запетая. Ако веригата ви за доставки е неравномерна, спорът между 7,3 и 7,4 процента грешка е театър. Фокусирайте се върху праговете за вземане на решения.

• Мит: причинно-следствена връзка от корелация. Тестовете на Грейнджър проверяват предсказващата полезност, а не философската истина - използвайте ги като предпазни средства, а не като евангелие [4].

Контролен списък за внедряване, който можете да копирате и поставите 📋

• Определете хоризонти, нива на агрегиране и решението, което ще вземете.

• Изградете чист времеви индекс, попълнете или маркирайте пропуски и подравнете екзогенни данни.

• Закъснения в изработката, променливи статистики, сезонни флагове и малкото функции на домейна, на които имате доверие.

• Започнете със силна базова линия, след което, ако е необходимо, преминете към по-сложен модел.

• Използвайте бектестове с подвижен произход с метриката, която съответства на вашия бизнес [2][3].

• Добавяне на интервали за прогнозиране - не е по избор.

• Кораба, наблюдение за дрейф и преобучение по график плюс предупреждения [5].

Твърде дълго, не го прочетох - Заключителни бележки 💬

Простата истина за това как изкуственият интелект предсказва тенденции: не става въпрос толкова за магически алгоритми, колкото за дисциплиниран, съобразен с времето дизайн. Получете правилните данни и функции, оценете честно, обяснете просто и се адаптирайте към промените в реалността. Все едно настройвате радио с леко мазни копчета - малко неудобно, понякога статично, но когато станцията се появи, е изненадващо ясно.

Ако отнемете едно нещо: уважавайте времето, валидирайте като скептик и продължавайте да наблюдавате. Останалото е просто инструментариум и вкус.

Референции

1. Бюро за преброяване на населението на САЩ - Програма за сезонно коригиране X-13ARIMA-SEATS . Връзка

2. Hyndman & Athanasopoulos - Прогнозиране: Принципи и практика (FPP3), §5.10 Кръстосана валидация на времеви серии . Връзка

3. Amazon Web Services - Оценка на точността на предсказващите устройства (Amazon Forecast) . Връзка

4. Университет на Хюстън - Причинност по Грейнджър (бележки от лекция) . Връзка

5. Гама и др. - Проучване върху адаптацията на концептуалния дрейф (отворена версия). Връзка

Намерете най-новия изкуствен интелект в официалния магазин за асистенти с изкуствен интелект

За нас