TimesFM-3: Базовая модель с нулевым уровнем предварительного обучения для многомерного прогнозирования
Мы представляем TimesFM-3, передовую базовую модель для анализа временных рядов, которая позволяет выполнять высокоточное прогнозирование многомерных временных рядов за один проход, значительно превосходя другие модели прогнозирования по основным показателям.
Быстрые ссылки
- GitHub
- HuggingFace
- Делиться
С момента запуска TimesFM в 2024 году мы наблюдаем внедрение базовых моделей временных рядов для решения реальных задач прогнозирования временных рядов в различных областях, таких как розничная торговля, финансы, мониторинг, производство, здравоохранение и естественные науки.
Вплоть до TimesFM-2.5 (выпущенной в сентябре 2025 года) наши модели были строго ограничены одномерным прогнозированием: прогнозированием, основанным только на истории одного временного ряда. Однако большинство реальных задач прогнозирования по своей сути являются многомерными: когда несколько временных рядов и вспомогательные внешние факторы совместно влияют на будущий прогноз временного ряда. Рассмотрим прогнозирование продаж мороженого для розничной сети. Одних только прошлых продаж редко бывает достаточно. Хороший прогноз должен также учитывать продажи сопутствующих товаров (например, рожков для мороженого, сиропов), исторический поток посетителей и известные будущие события, такие как прогнозы погоды, рекламные акции и праздники.
Сегодня мы представляем TimesFM-3, следующее поколение нашей базовой модели для анализа временных рядов, которая изначально предварительно обучена для многомерного прогнозирования. TimesFM-3 имеет 330 миллионов параметров и предварительно обучена на реальном и синтетическом корпусе временных рядов, содержащем более 1 триллиона временных точек. Основываясь на эффективности и обобщающей способности без предварительного обучения своих предшественников, TimesFM-3 добавляет надежную поддержку сложных многомерных сценариев без предварительного обучения. Она может совместно прогнозировать несколько совместно развивающихся временных рядов, улавливая зависимости, которые повышают общую точность без необходимости тонкой настройки для конкретной задачи. Модель изначально поддерживает:
- Множественные целевые показатели: одновременное прогнозирование нескольких связанных временных рядов (например, совместное прогнозирование различных марок мороженого). Модель поддерживает как точечные, так и квантильные прогнозы для всех целевых показателей.
- Факторы, учитывающие прошлые данные: Включите характеристики, известные только из исторических источников (например, прошлый пешеходный поток).
- Динамические ковариаты «прошлое-будущее»: Используйте известные будущие события для корректировки прогноза (например, запланированные рекламные кампании или прогнозы погоды).
«Под капотом»: архитектура и вывод информации.
TimesFM-3 основан на проверенной архитектуре преобразователя, использующего только декодер, как и его предшественники. Как и в предыдущих версиях, мы эффективно обрабатываем временные ряды, группируя смежные точки данных в блоки по 32 временных шага. Затем мы применяем нормализацию для каждого временного ряда, аналогичную той, что использовалась в TimesFM-2.5, чтобы учесть временные ряды с существенно различающимися масштабами.
Многомерное построение токенов
Для целевых и прошлых ковариатных рядов токен формируется непосредственно из одного фрагмента. Однако для прошлых и будущих ковариат TimesFM-3 использует хитрую стратегию «прогнозирования»: каждый токен объединяет текущий фрагмент с будущими фрагментами, позволяя модели заглядывать в будущие известные сигналы.
Архитектура попеременного внимания
После токенизации фрагменты данных проходят через блок остаточных входных данных и попадают в основной стек преобразователей, который работает как двумерная сетка:
- Причинно-следственное временное внимание: токены обращают внимание горизонтально во времени. Для предотвращения утечки данных это внимание является строго причинно-следственным — токен может просматривать только прошлые токены в рамках своего собственного временного ряда.
- Полное внимание к переменным: токены обращают внимание вертикально на разные временные ряды. На любом заданном временном шаге токен может просматривать все остальные временные ряды в наборе данных, что позволяет модели изучать сложные межсерийные корреляции (например, как акция в одном ряду влияет на продажи в другом).
Эти два механизма внимания чередуются на протяжении нескольких слоев, плавно сочетая временные закономерности с межсерийными связями.
Архитектура TimesFM-3.
Неавторегрессивное декодирование: прогнозирование за один проход
Предыдущие версии TimesFM генерировали прогнозы по одному фрагменту за раз, что приводило к задержкам, накоплению ошибок и увеличению вычислительных затрат. TimesFM-3 использует стратегию маскирования смежных фрагментов для генерации всего горизонта прогнозирования за один прямой проход. Модель добавляет замаскированные токены-заполнители для будущего горизонта наряду с наблюдаемым контекстом. Целевые и прошлые ковариаты маскируются на горизонте (поскольку их будущие значения неизвестны), в то время как прошлые и будущие ковариаты остаются видимыми, предоставляя модели известные будущие сигналы, такие как праздники или запланированные события. Благодаря чередующимся слоям внимания модель одновременно заполняет все замаскированные фрагменты горизонта, без необходимости итеративного цикла. Модель прогнозирует 9 квантилей (от 10-го до 90-го процентиля) для каждого целевого временного ряда на каждом шаге горизонта, обеспечивая полное вероятностное представление неопределенности прогноза.
Иллюстративный пример многомерного прогнозирования
Вернемся к примеру с продажами мороженого. Представьте, что вы работаете над графиком рекламных акций на следующий месяц и хотите спрогнозировать продажи. Стандартная одномерная модель (красная линия ниже) анализирует исторические данные о продажах и прогнозирует еженедельную динамику, но она ничего не знает о запланированных акциях в конкретные дни. Многомерная модель TimesFM-3 (синяя линия ниже) использует другой подход: передавая график запланированных акций в качестве ковариаты «прошлое-будущее», модель изучает взаимосвязь между акциями и ростом продаж на основе исторического контекста, а затем применяет эти знания к будущим дням с запланированными акциями. В результате получается прогноз, который предсказывает увеличение продаж примерно на 20% в каждый день проведения акции. На диаграмме ниже янтарные блоки в ковариатах акций выделяют дни, в которые проводятся акции, — и синий прогноз наглядно реагирует на каждую из них, в то время как красный прогноз — нет. В целом за месяц это приводит к более точному прогнозу ожидаемой выручки.
Планирование рекламных акций: Многофакторный прогноз TimesFM-3 использует ковариату, связанную с рекламными акциями, для прогнозирования роста продаж в запланированные дни проведения рекламных акций в будущем.
Оценка и контрольные показатели
Мы оценили TimesFM-3 на трех всеобъемлющих общедоступных бенчмарках прогнозирования: Gift-Eval, FEV-Bench и Time. На всех трех бенчмарках TimesFM-3 занимает первое место как по точечным, так и по вероятностным показателям прогнозирования среди всех предварительно обученных базовых моделей. На графиках ниже показан средний ранг по задачам как для точности точечного прогноза, так и для качества вероятностного прогноза (чем ниже, тем лучше) для трех бенчмарков. Мы сравниваем результаты с недавними базовыми моделями, включая модели, способные к многомерному прогнозированию, такие как Chronos-2 и семейство Toto 2.0, а также с нашей предыдущей моделью TimesFM-2.5.
На каждом графике представлены две записи для TimesFM-3. Точка в «одномерном режиме» показывает производительность модели при оценке без учета ковариат или информации о межсерийных данных, когда каждая целевая серия рассматривается независимо, как в традиционной одномерной модели. Даже в этом одномерном режиме TimesFM-3 уже соответствует или превосходит другие конкурирующие модели. При переходе в полномасштабный многомерный режим TimesFM-3 делает еще один скачок, достигая наилучшего среднего рейтинга как в точечном, так и в вероятностном прогнозировании по всем параметрам.
Результаты на Gift-Eval ( сверху ), Fev-Bench ( посередине ) и Time ( снизу ): TimesFM-3 в одномерном режиме уже превосходит другие воспроизводимые базовые модели временных рядов как по точечным, так и по вероятностным показателям прогнозирования. Многомерный режим дополнительно повышает производительность за счет использования информации о межсерийных данных и ковариатах, если таковые имеются.
Заключение
Представляем TimesFM-3, новейшее поколение нашей линейки базовых моделей временных рядов TimesFM, работающих без предварительного обучения. Эта модель демонстрирует передовые результаты в многомерном и одномерном прогнозировании на множестве общедоступных бенчмарков. TimesFM-3 уже доступна на GitHub и Hugging Face, а интеграция с BigQuery появится в ближайшие недели. А пока вы можете попробовать TimesFM-2.5 на своих задачах одномерного прогнозирования, чтобы ознакомиться с командой AI.FORECAST в BigQuery — никаких специальных знаний в области машинного обучения не требуется.
Благодарности
Этот проект является совместной работой с Иченем Чжоу, Петросом Молом, Абхиманью Дасом и Саметом Оймаком.
Источник: research.google
Оцените материал:
