MolmoMotion учит ИИ предсказывать движение объектов в 3D Институт Аллена…

MolmoMotion учит ИИ предсказывать движение объектов в 3D

Институт Аллена Ai2 выпустил MolmoMotion — модель, которая смотрит на кадр или короткое видео и предсказывает, как выбранный объект будет двигаться в ближайшие секунды.

На вход подаётся сцена, пользователь отмечает опорные точки на объекте и добавляет инструкцию вроде «подвинь и поверни деревянную миску с фруктами». На выходе модель строит траекторию этих точек уже в трёхмерном пространстве — в метрах относительно камеры.

В основе — Molmo 2 на 4 млрд параметров. Ai2 обучил две версии:
— авторегрессионную, которая достраивает движение шаг за шагом
— flow-matching вариант для ситуаций, где у действия может быть несколько вероятных продолжений

В открытый релиз пока попали только 2 AR-чекпойнта:
— H3-F30 — для видео: 3 кадра истории и прогноз примерно на 2 секунды при 15 FPS
— H1-F32 — для сценариев, где есть только один кадр

Вместе с моделью выложили датасет MolmoMotion-1M: 1,16 млн видео, 736 типов движения и около 5,6 тыс. объектов. Плюс бенчмарк PointMotionBench на 2,7 тыс. размеченных людьми видеоклипов.

Модель
H3-F30
H1-F32
Датасет
Бенчмарк
Похоже, визуальные модели всё ближе к пониманию физики мира: не просто «что на картинке», а «куда это сейчас поедет, упадёт или повернётся».