Sand.ai открыла MAGI-2 Preview — MoE-модель для видео со звуком…

Sand.ai открыла MAGI-2 Preview — MoE-модель для видео со звуком

Sand.ai выложила в открытый доступ веса и код инференса MAGI-2 Preview — видеомодели, которая генерирует 10-секундные ролики сразу с синхронной аудиодорожкой.

Архитектура здесь не самая обычная: модель построена на single-stream подходе и использует fine-grained MoE. При общем размере 114B параметров на каждый токен активируется только 6B.

За счёт этого вычислений на шаг нужно заметно меньше, чем у плотных моделей вроде MiniMax H3 на 33B. По заявлению разработчиков, стоимость инференса снизилась примерно в 10 раз, а сама MAGI-2 Preview поднялась на 6 место в лидерборде Artificial Analysis.

Генерация идёт в два этапа:
— сначала базовая модель делает видео в низком разрешении
— затем refiner апскейлит результат до 1080p

Правда, для локального запуска это пока не самый дружелюбный вариант.