Применение методов детектирования объектов в задаче долгосрочного прогнозирования событий

Привет, Хабр. Мы — Андрей Савченко — директор по науке, и Иван Карпухин — senior researcher в Sber AI Lab — Центре практического искусственного интеллекта Сбера, расскажем о нашем исследовании, представленном на конференции AAAI 2026.

В сфере искусственного интеллекта за последние десять лет многие самые успешные идеи родились не в какой-то одной предметной области, а на стыке нескольких направлений. Так произошло с трансформерами, которые сначала появились в обработке естественного языка, затем практически полностью изменили компьютерное зрение, а сегодня их используют почти во всех задачах машинного обучения. Похожая ситуация и с долгосрочным прогнозированием последовательностей событий. Неожиданно оказалось, что многие идеи, давно ставшие стандартом в задачах детектирования объектов на изображениях, позволяют принципиально иначе взглянуть на прогнозирование будущих событий.

На первый взгляд эти две области никак не связаны между собой. В одном случае модель ищет автомобили, людей и дорожные знаки на фотографии, а в другом — пытается предсказать будущие покупки клиента банка, последовательность медицинских процедур или активность пользователя в социальной сети. Но если отбросить подробности реализации и посмотреть на задачу более абстрактно, то мы обнаружим сходство. В компьютерном зрении необходимо ответить всего на два вопроса: что находится на изображении и где именно расположен объект. В прогнозировании событий задача выглядит почти так же: какое событие произойдёт и когда именно это случится. Двумерное пространство изображения превращают в одномерную временную ось. Эта аналогия впоследствии позволила перенести целый класс методов из object detection в моделирование последовательностей событий.

Последовательности событий — это не временные ряды

Несмотря на внешнее сходство, последовательности событий существенно отличаются как от обычных табличных данных, так и от классических временных рядов. Временной ряд предполагает регулярные наблюдения. Например, каждый час измеряют температуру воздуха, каждую минуту — курс валюты, каждые пять секунд — нагрузку на сервер. Значения могут меняться как угодно, а временна̒я структура остаётся фиксированной.

Последовательности событий устроены иначе. Интервал между двумя соседними событиями заранее неизвестен. Покупатель может совершить две операции подряд с разницей в несколько секунд, а затем не пользоваться картой несколько недель. Пациент может регулярно посещать врача, а затем неожиданно попасть в стационар. Пользователь социальной сети способен за несколько минут оставить десятки комментариев, после чего исчезнуть из сети на несколько месяцев.

Поэтому временная ось становится неравномерной, а сами события начинают играть роль своеобразных «точек» на этой оси.

Кроме временно̒й метки, каждое событие обычно содержит множество дополнительных атрибутов:

• тип;

• категорию;

• числовые характеристики;

• текстовые признаки;

• географическую информацию;

• произвольные дополнительные поля.

В банковских системах событие может содержать тип транзакции, сумму, категорию магазина, валюту и регион; в медицинских данных — диагноз, процедуру, результаты анализов и множество сопутствующих признаков; в рекомендательных системах — просмотр товара, добавление в корзину, покупку, рейтинг и информацию об устройстве пользователя.

Поэтому модель должна одновременно учитывать временную структуру, взаимосвязи между различными типами событий и влияние всей предыдущей истории.

От процессов Пуассона до современных нейронных моделей

Исторически большинство методов моделирования подобных данных выросло из теории временных точечных процессов (англ. TPP, Temporal Point Processes).

Самой простой моделью считается процесс Пуассона. Он предполагает, что события возникают независимо друг от друга, а вся информация о будущем определяется только текущей интенсивностью процесса. Такой подход хорошо работает для полностью случайных явлений, однако практически бесполезен в реальных пользовательских сценариях, где каждое действие человека влияет на последующие.

Следующим шагом стали процессы Хоукса. Их идея заключается в самовозбуждении процесса: произошедшее событие увеличивает вероятность новых событий в ближайшем будущем. Процессы Хоукса активно применяют при моделировании социальных сетей, финансовых рынков и даже сейсмической активности.

Однако и этого оказалось недостаточно. В реальных приложениях существуют десятки и сотни различных типов событий, которые постоянно взаимодействуют между собой. Простое независимое моделирование каждого типа быстро перестаёт работать. Поэтому сегодня исследователи практически полностью перешли на нейросетевые модели. Рекуррентные сети и трансформеры позволяют учитывать сложные нелинейные зависимости между событиями, сохраняя при этом информацию о времени их возникновения.

На этой основе возникло направление Marked Temporal Point Processes (MTPP), которое стало одним из основных подходов к моделированию последовательностей событий.

Предсказать следующий шаг не означает хороший долгосрочный прогноз

Практически все существующие модели обучаются одинаково: им показывают историю событий, после чего просят предсказать только следующее событие — его время и тип. Такой подход выглядит естественным и долгое время считался стандартом. Если необходимо предсказать на неделю или месяц вперёд, то модель просто запускают многократно: сначала она прогнозирует первое событие, затем использует собственный прогноз как входные данные и прогнозирует следующий событие, и так повторяют столько раз, сколько требуется. Такая схема называется авторегрессионное прогнозирование.

Проблема в том, что при этом каждая ошибка становится частью входных данных для следующего шага. Если модель немного ошиблась в начале последовательности, то за несколько десятков шагов ошибка быстро накапливается. Постепенно предсказанная последовательность всё сильнее отклоняется от реального развития событий. На практике это приводит к тому, что вместо разнообразных сценариев модель начинает многократно воспроизводить наиболее вероятные события. Например, если самым распространённым действием пользователя является покупка продуктов, то прогноз может превратиться в последовательность практически одинаковых операций. Формально ошибка может быть небольшой, но такая модель уже не отражает реальное поведение человека.

Исследования показывают, что это характерно не только для классических авторегрессионных моделей. Даже современные нейросетевые методы, одновременно предсказывающие несколько будущих событий, зачастую обучают с использованием попарных функций потерь, сравнивающих первое предсказание с первым реальным событием, второе — со вторым, и так далее. При малейшем смещении по времени такое сравнение начинает работать некорректно, что портит качество долгосрочного прогнозирования.

Проблема не только в архитектуре моделей. Не менее важен и способ оценки качества прогнозов. Если модель обучают и тестирует на метриках, плохо отражающих реальную задачу, то даже самая современная архитектура неизбежно начинает оптимизировать не то, что действительно важно.

Когда привычные метрики начинают обманывать

Представим, что модель должна предсказать все события, которые произойдут с клиентом в течение следующей недели. В конце мы получим реальную последовательность действий пользователя и попытаемся понять, насколько хорошо сработал алгоритм.

На первый взгляд, задача кажется простой: сравним две последовательности и измерим расстояние между ними. Так долго поступали практически все исследователи.

Среди распространённых подходов к сравнению последовательностей использовались различные метрики расстояния, например, Optimal Transport Distance (OTD). По аналогии с обработкой текста, метрика напоминает редакционное расстояние: определяет, какие события необходимо удалить, добавить или заменить, чтобы превратить одну последовательность в другую.

Такой подход выглядит вполне логичным, однако при долгосрочном прогнозировании проявляются его фундаментальные недостатки.

Проблема первая: фиксированная длина вместо фиксированного времени

Большинство существующих методов оценивают не все события за заданный интервал времени, а только первые несколько элементов последовательности. Это приводит к неожиданным последствиям.

Предположим, что модель немного переоценила интенсивность процесса и начала прогнозировать события чаще, чем они происходят в реальности. Через неделю она действительно предскажет почти все необходимые действия пользователя, но поскольку событий оказалось больше, то первые десять прогнозов будут соответствовать лишь первой половине реальной последовательности. Модель решает, что часть настоящих событий отсутствует, и увеличивает количество ложных пропусков.

Теперь рассмотрим обратную ситуацию. Модель недооценила интенсивность процесса и предсказала события слишком редко. Первые десять прогнозов окажутся отнесены уже к более позднему времени, чем реальные события. В результате появятся многочисленные ложные срабатывания.

Любопытно, что в обоих случаях сами прогнозы могут быть вполне разумными. Ошибка возникает исключительно из-за способа сравнения последовательностей.

Для человека такая оценка выглядит странной. Если нужен прогноз на неделю вперёд, то логично сравнивать всё, что произошло, именно за эту неделю, а не первые десять записей в журнале событий.

Проблема вторая: потеря информации о вероятностях

Современные нейронные сети практически никогда не выдают один ответ. Вместо этого модель оценивает вероятность каждого возможного события. Например, она может считать, что вероятность покупки продуктов составляет 45%, вероятность оплаты коммунальных услуг — 35%, а вероятность покупки авиабилетов — 20%.

Однако большинство существующих метрик полностью игнорируют эту информацию. После вычисления вероятностей остаётся только один наиболее вероятный класс, а все остальные варианты просто отбрасываются. В результате две принципиально разные модели могут получить одинаковую оценку:

• Первая уверена в своём прогнозе и практически исключает все остальные варианты. 

• Вторая корректно отражает неопределённость будущего, распределяя вероятность между несколькими правдоподобными сценариями.

Для большинства существующих метрик эти модели оказываются абсолютно одинаковыми, хотя с практической точки зрения вторая значительно полезнее. Поэтому традиционные способы оценки плохо работают с редкими событиями. Их почти всегда игнорируют, поскольку модель вынуждена выбирать самый вероятный класс.

Проблема третья: ошибки, которых на самом деле нет

Есть ещё одна менее очевидная особенность: во многих предметных областях несколько событий происходят практически одновременно. Например, в медицинской информационной системе пациент может одновременно получить диагноз, направление на анализ и назначение лекарств. Все эти записи будут иметь одинаковую временную метку. 

Но если два события произошли одновременно, существует ли вообще правильный порядок между ними? Для врача — нет, для модели — тоже нет. Однако традиционные методы оценки всё равно сравнивают последовательности по индексам, предполагая существование единственно правильного порядка.

Получается парадоксальная ситуация: две модели могут предсказать абсолютно одинаковый набор событий в одно и то же время, но получить разные оценки только потому, что расположили эти события в разном порядке. Очевидно, что подобная зависимость никак не связана с качеством прогнозирования.

Неожиданная идея из компьютерного зрения

Поиск решения привёл к довольно неожиданной аналогии: в задачах детектирования объектов нейросеть тоже не знает заранее, сколько объектов находится на изображении. Их там вообще может не быть. При этом модель генерирует множество кандидатов, после чего необходимо определить, какие из них соответствуют реальным объектам. Ту же самую задачу приходится решать при прогнозировании событий: модель генерирует набор предполагаемых событий, а затем необходимо понять, какие из них действительно произошли. Разница заключается лишь в пространстве: в компьютерном зрении объект имеет координаты по двум осям, а в последовательностях событий остаётся только одна координата — время.

Вместо сравнения последовательностей целиком можно рассматривать каждое событие как самостоятельный объект, который необходимо обнаружить на временной оси. Тогда можно применять и все остальные понятия, давно используемые в компьютерном зрении.

Если предсказанное событие удалось сопоставить с реальным и ошибка по времени не превышает допустимого порога, то мы считаем это истинным обнаружением. Если модель спрогнозировала событие, которого не произошло, то получается ложное срабатывание. Если же реальное событие не было спрогнозировано, то это пропуск.

Задача прогнозирования длинных последовательностей превращается в одномерный вариант обнаружения объектов. Отсюда возникла новая метрика Temporal mean Average Precision (T-mAP), обладающая достоинствами «классической» mAP, но адаптированная под временные последовательности. Самое важное отличие новой метрики в том, что она оценивает не фиксированное количество событий, а весь заданный временной горизонт. Так сравнение становится значительно ближе к реальным прикладным задачам. Кроме того, T-mAP использует полное распределение вероятностей, а не только наиболее вероятный класс, что позволяет объективно оценивать качество прогнозирования как популярных, так и редких событий.

Новая архитектура

Из компьютерного зрения мы позаимствовали не только новую метрику: изменение способа оценки постепенно привело к переосмыслению архитектуры модели. У современных алгоритмов прогнозирования событий есть общая особенность: практически все они предполагают, что первое предсказание должно соответствовать первому реальному событию, второе — второму, третье — третьему и так далее. Это предположение кажется естественным, однако оно становится источником большинства проблем.

Представим, что модель практически идеально предсказала все будущие события, но слегка ошиблась во времени первого из них, например, первое событие произошло не через два часа, а через два часа и пять минут. Из-за этого вся последовательность смещается, и теперь второе предсказание сравнивается уже не со своим событием, а со следующим, третье — тоже. Ошибка распространяется по всей последовательности, хотя фактически модель почти ничего не перепутала. Получается своеобразный эффект домино. Одна небольшая неточность превращается в десятки ошибок исключительно из-за выбранного способа сопоставления. 

В компьютерном зрении эту проблему научились решать ещё несколько лет назад. Например, мы не знаем, какой именно из сотни кандидатов, предложенных нейросетью, должен соответствовать конкретному автомобилю или человеку на изображении, поэтому сначала находят оптимальное соответствие между предсказаниями и реальными объектами, а затем вычисляют функцию потерь.

Этот принцип лёг в основу нового подхода к прогнозированию событий.

DEF: обнаружение будущих событий вместо пошагового прогнозирования

Метод называется Detection-based Event Forecasting (DEF). Сначала нейросеть анализирует всю наблюдаемую историю пользователя. Полученное представление передает сразу в несколько независимых выходных «голов», каждая из которых отвечает не за конкретный порядковый номер события, а за некоторый возможный кандидат в будущем. Количество таких кандидатов выбирают с запасом. Обычно модель прогнозирует в несколько раз больше событий, чем в среднем действительно происходит в рассматриваемом временном горизонте.

Зачем нужна избыточность? Ведь это лишняя трата ресурсов. Но именно этот запас обеспечивает гибкость архитектуры. Модель уже не обязана предсказывать каждое событие строго в заранее определённой позиции, а формирует множество гипотез, из которых потом выберет самые подходящие.

Такой подход напоминает работу современных детекторов объектов. Они тоже сначала генерируют множество возможных ограничивающих рамок, большинство из которых потом оказывается ненужным.

Что именно предсказывает модель

Каждый кандидат содержит не только предполагаемый момент наступления события. Модель одновременно оценивает три характеристики:

• Вероятность того, что соответствующее событие вообще должно произойти. Теперь модель может честно признать, что какой-то кандидат оказался лишним.

• Распределение вероятностей по всем возможным типам событий. Модель не выбирает единственный вариант, а сохраняет всю информацию о неопределённости будущего. Так она способна учитывать несколько правдоподобных сценариев одновременно.

• Предполагаемое время возникновения события относительно последнего наблюдаемого момента.

Каждый ответ модели представляет собой полноценную гипотезу о будущем событии. Это уже не просто класс или временная метка, а вероятностное описание возможного развития событий.

Сопоставление

Мы получили множество кандидатов, а какие из них соответствуют реальным событиям? В предыдущих подходах ответ был заранее известен: первое предсказание сравнивали с первым событием, второе — со вторым, и так далее. В DEF фиксированного соответствия не существует. Вместо этого нужно для каждого реального события найти самый подходящий прогноз, одновременно минимизируя суммарную ошибку по всей последовательности.

Таким образом, модель сама определяет, какой кандидат лучше всего объясняет каждое событие. Если прогноз какой-то оказался значительно хуже остальных, модель не будет его использовать. Если же несколько кандидатов претендуют на одно и то же событие, выбирается наиболее удачный вариант.

Обучение становится гораздо устойчивее. Теперь небольшая ошибка в начале последовательности больше не портит качество оценки всех последующих событий. Каждое событие рассматривается практически независимо, а модель определяет итоговое соответствие для всей последовательности.

Ещё одно важное преимущество подхода становится заметно при работе с редкими или случайными событиями. Рассмотрим поведение обычной авторегрессионной модели. Если в истории пользователя появилась нетипичная операция — например, покупка авиабилетов после нескольких месяцев обычных бытовых расходов, — то вероятность ошибки оказывается очень высокой. Более того, эта ошибка начинает влиять на все последующие прогнозы. 

В архитектуре DEF модель не обязана объяснять каждое событие. Если действие оказалось практически случайным и его невозможно было достоверно предсказать, то алгоритм может сосредоточиться на тех событиях, чьи закономерности есть в данных. То есть модель автоматически разделяет предсказуемую и непредсказуемую части последовательности.

Это особенно важно для прикладных задач, в которых постоянно бывают случайные события. Например, невозможно заранее узнать, что пользователь спонтанно зайдёт в новую кофейню или внезапно купит билет на концерт, но можно предсказать регулярные покупки продуктов, ежемесячные платежи, поездки на работу или плановые визиты к врачу.

Благодаря этому свойству DEF одновременно повысил точность прогнозирования и существенно увеличил разнообразие предсказываемых последовательностей. То есть решил проблему, с которой долго не могли справиться многие существующие модели.

Бенчмарк

Чтобы доказать, что новая архитектура справляется лучше существующих методов, необходимо:

• разнообразные данные, охватывающие очень разные предметные области;

• единые правила оценки, позволяющие честно сравнивать между собой классические статистические модели, современные нейросети и новые алгоритмы.

Так возник бенчмарк HoTPP (Horizon Temporal Point Processes) — первая открытая платформа, ориентированная на долгосрочное прогнозирование событий. Репозиторий.

Раньше большинство исследователей использовало собственные наборы данных, процедуры предобработки и метрики. Из-за этого сравнить результаты разных статей было практически невозможно. Каждая работа показывала превосходство своего метода, но далеко не всегда было понятно, связано ли это с качеством алгоритма или с особенностями экспериментальной постановки.

HoTPP объединил в себе единые датасеты, общий процесс обучения, воспроизводимые настройки экспериментов и набор современных метрик, включая предложенную T-mAP. С помощью этого бенчмарка мы испытывали описанный в этой статье подход.

Прогнозы следующего события и дальний горизонт — разные задачи

Долгое время в существовало почти интуитивное предположение: если алгоритм очень точно предсказывает следующий шаг, значит, достаточно несколько раз применить его последовательно — и получится хороший долгосрочный прогноз. Эксперименты показали обратное. Модели, уверенно лидирующие по качеству next-event prediction, далеко не всегда сохраняли своё преимущество уже через несколько десятков будущих событий. Действительно, при каждом новом шаге авторегрессионная модель начинает использовать собственные прогнозы вместо реальных данных. Даже небольшая неточность постепенно накапливается, и постепенно последовательность всё сильнее отклоняется от реального поведения пользователя.

Но есть и обратные примеры. Некоторые методы прогнозирования в дальнем горизонте демонстрировали средние результаты при предсказании ближайшего события, зато существенно превосходили конкурентов при моделировании на несколько недель или месяцев вперёд.

Получается, что задачи «что произойдёт следующим?» и «что произойдёт в течение следующего месяца?» требуют разных подходов, то есть являются двумя самостоятельными проблемами машинного обучения.

Неожиданный успех простых моделей

В последние годы направление MTPP активно развивалось благодаря всё более сложным нейросетевым архитектурам. Появились непрерывные рекуррентные сети, трансформеры, диффузионные модели, различные варианты моделирования интенсивности MTPP. Казалось бы, такие методы должны значительно превосходить любые классические алгоритмы. Однако результаты экспериментов оказались неоднозначными. В ряде задач простейшие статистические модели демонстрировали качество, сравнимое с современными глубокими нейронными сетями. В некоторых экспериментах они даже заняли первое место.

Тогда зачем использовать сложную архитектуру с миллионами параметров, если аналогичный результат достигается простым подсчётом статистики? Ответ заключается в особенностях данных. Во многих прикладных задачах поведение пользователей действительно содержит много устойчивых закономерностей: большинство людей регулярно покупают продукты, ежемесячно оплачивают коммунальные услуги; получают зарплату примерно в одинаковые даты; посещают привычные магазины. Если оценивать модель только по наиболее популярным событиям, то простой статистики обычно достаточно.

Однако современные архитектуры начинают выигрывать именно там, где появляются сложные взаимосвязи между событиями, длинные зависимости и необходимость моделировать редкие сценарии.

Проблема, которую долго никто не замечал

Анализ результатов экспериментов показал ещё одну интересную закономерность: практически все модели постепенно начинают предсказывать всё менее разнообразные последовательности. Вначале прогноз ещё выглядит реалистично, но по мере удаления горизонта предсказания начинают повторяться одни и те же типы событий.

Допустим, мы прогнозируем поведение пользователя на основе его действий в банковском приложении. Если человек чаще всего покупал продукты, то прогноз модели превратится в такую последовательность: покупка продуктов, ещё одна покупка продуктов, снова покупка продуктов, опять покупка продуктов… 

С точки зрения некоторых метрик это выглядит вполне корректно, но вряд ли отражает реальную жизнь: мы оплачиваем транспорт и подписки, покупаем одежду, снимаем наличные, заказываем такси, бронируем гостиницы… Модель же постепенно «схлопывает» всё это разнообразие в несколько наиболее популярных действий. В машинном обучении это называют коллапсом мод (mode collapse).

Эта проблема хорошо знакома исследователям генеративных моделей, и её долго почти не изучали применительно к последовательностям событий. Для количественной оценки этого эффекта мы измеряли энтропию распределения предсказываемых событий: чем выше энтропия, тем более разнообразные сценарии способна моделировать система.

Большинство современных авторегрессионных моделей демонстрировали крайне низкое разнообразие прогнозов. Даже некоторые специализированные методы долгосрочного прогнозирования лишь частично решали эту проблему. На этом фоне архитектура DEF выглядит предпочтительнее: модель одновременно рассматривает множество независимых кандидатов и не привязана к фиксированному порядку событий, поэтому значительно реже «застревает» на нескольких наиболее вероятных классах.

Скорость тоже имеет значение

Высокая точность сама по себе ещё не гарантирует промышленного использования модели. Если формирование одного прогноза занимает несколько секунд или даже минут, то никакое улучшение качества не компенсирует столь высокую вычислительную стоимость. Особенно это касается банковских систем, рекомендательных сервисов и онлайн-платформ, где нужно прогнозировать для миллионов пользователей практически в реальном времени.

Здесь DEF тоже оказался полезным: он предсказывает фиксированное число событий K (выбираемое с запасом) в заданном временном горизонте за один проход модели, что позволяет избежать многократного последовательного запуска. Авторегрессионным алгоритмам приходится выполнять десятки последовательных проходов по сети, каждый раз используя результаты предыдущего шага, а DEF справляется за один проход. Его преимущество в скорости особенно заметно по сравнению с методами, использующими сложное вероятностное моделирование или повторную генерацию нескольких вариантов последовательностей с последующим выбором лучшего результата.

Об этом уже говорилось выше: новый подход — это редкий пример, когда улучшение качества прогнозирования не сопровождается увеличением вычислительной стоимости. Наоборот, модель стала точнее, устойчивее и быстрее.

От исследований к промышленным системам

Любая новая архитектура рано или поздно сталкивается с одним и тем же вопросом: насколько она полезна за пределами лаборатории? Можно ли использовать её не только в публикациях и бенчмарках, но и в реальных продуктах, где на основе прогнозов принимают бизнес-решения?

Особенно остро этот вопрос стоит для моделей долгосрочного прогнозирования. В них, в отличие от классических задач классификации, результат работы алгоритма редко является конечной целью. Обычно прогноз становится лишь промежуточным этапом более сложной аналитической системы.

Например, банку не интересно знать, что клиент через четыре дня что-то купит в супермаркете. Банкам важно понять, сколько денег потратит человек в каждой категории расходов в течение следующей недели, возникнет ли вероятность оформления кредита, изменится ли финансовое поведение пользователя или стоит ли предложить ему новый банковский продукт.

Врачей интересует не отдельное прогнозируемое событие, а динамика состояния пациента, риск повторной госпитализации, необходимость дополнительных обследований или вероятность осложнений.

В рекомендательных системах задача выглядит ещё шире: нужно прогнозировать не следующий просмотр товара, а целую последовательность действий пользователя, чтобы заранее подготовить персонализированные рекомендации, оптимизировать ассортимент или оценить вероятность покупки.

Генерирование последовательностей — не всегда лучший вариант

До появления современных моделей долгосрочного прогнозирования подобные задачи обычно решали достаточно прямолинейно: многократно генерировали возможные варианты будущего и каждую последовательность анализировали отдельно. Например, если требовалось оценить будущие расходы клиента, то сначала генерировали сотни или тысячи возможных сценариев его поведения, затем для каждого сценария считали суммарные траты по различным категориям и усредняли результаты. Подход довольно точный, но у него два серьёзных недостатка:

• Вычислительная стоимость быстро становится очень высокой. Каждая дополнительная симуляция требует нового запуска модели, а для устойчивых оценок необходимо достаточно много запусков.

• Итоговый результат сильно зависит от качества генерирования. Если модель начинает повторять наиболее вероятные события или недостаточно хорошо отражает разнообразие поведения пользователей, то итоговая статистика тоже смещается.

Поэтому в последние годы всё больше исследуют модели, позволяющие работать с распределениями вероятностей без многократного прогнозирования.

Вероятности как источник дополнительной информации

В архитектуре DEF каждый кандидат содержит не только предполагаемый тип события, но и полное вероятностное описание возможных вариантов. Вроде бы это техническая подробность реализации, но она позволяет создавать новые прикладные алгоритмы. 

Предположим, что модель прогнозирует несколько возможных покупок клиента. Для каждой из них известны:

• вероятность появления события;

• распределение вероятностей по категориям товаров;

• предполагаемое время покупки;

• дополнительные атрибуты, например, ожидаемая сумма операции.

Вместо того, чтобы сначала генерировать множество сценариев, а затем вычислять средние значения, можно сразу оценить математическое ожидание интересующих величин. Например, ожидаемые расходы по каждой категории товаров вычисляются как сумма вкладов всех прогнозируемых событий с учётом их вероятностей.

DEF избавлен от дополнительного этапа случайного моделирования, меньше влияние генерационного шума.

Критическая важность разнообразия прогнозов

Будущее почти никогда не бывает определённым. Пользователь может поехать в отпуск, а может остаться дома. Клиент может оформить кредит или отказаться от него. Пациент может быстро восстановиться после лечения или потребовать повторной госпитализации. Все варианты имеют собственные вероятности. Если модель каждый раз выбирает только наиболее вероятный сценарий, то неизбежно теряет значительную часть информации.

Поэтому сейчас исследования переходят от поиска единственного правильного прогноза к моделированию множества возможных вариантов развития событий. Становится особенно важна способность алгоритма поддерживать разнообразие предсказаний. Высокая энтропия распределения оказывается не побочным эффектом, а необходимым условием практической применимости модели.

Хорошая система должна не только отвечать на вопрос «что произойдёт?», но и показывать, какие ещё варианты развития событий являются достаточно вероятными.

Ограничения подхода

Несмотря на впечатляющие результаты, DEF не решает все проблемы прогнозирования последовательностей событий.

Во-первых, как и многие модели временных точечных процессов, DEF в текущей реализации не моделирует явные зависимости между атрибутами события (например, между типом и временем возникновения). На практике это означает, что тип события, его время возникновения и дополнительные характеристики прогнозируются независимо друг от друга. Для многих задач этого достаточно, однако в некоторых предметных областях между атрибутами существуют сложные взаимосвязи, которые полезно учитывать явно.

Во-вторых, модель практически не моделирует зависимости между самими событиями внутри прогнозируемого горизонта. Это ускоряет вычисления, но потенциально ограничивает описание сложных сценариев, в которых одно будущее событие напрямую влияет на вероятность возникновения другого.

В-третьих, ограничением становится сам процесс оптимального сопоставления. Поиск соответствий между прогнозами и реальными событиями требует разметки каждого элемента обучающей выборки. Это один из самых ресурсоёмких этапов обучения.

Заключение

Аналогия между обнаружением объектов и поиском событий на временной оси позволила не просто улучшить существующие модели, а по-новому сформулировать саму задачу прогнозирования будущего. Если первые поколения алгоритмов учились предсказывать следующее событие, а затем постепенно увеличивали глубину прогноза, то современные исследования всё чаще рассматривают будущее как единый объект моделирования. Судя по результатам исследований, такой подход позволяет добиться наиболее существенного прироста качества.

Авторы: Иван Карпухин, Андрей Савченко

Источник: habr.com