FreeToken обещает запускать MoE-модели до 753 млрд параметров на одной…

FreeToken обещает запускать MoE-модели до 753 млрд параметров на одной рабочей станции

Разработчики системы инференса FreeToken заявили о поддержке запуска очень крупных моделей с архитектурой Mixture-of-Experts вне дата-центра. Заявленный диапазон впечатляет: от 35 млрд параметров на обычном ноутбуке до 753 млрд на мощной рабочей станции.

Работает это за счёт умного распределения нагрузки между процессором и видеокартой. В MoE-моделях на каждом шаге активируется лишь небольшая часть «экспертов», поэтому держать в видеопамяти всю модель целиком не обязательно — остальное можно вынести в оперативную память и подгружать по мере необходимости. Вопрос всегда в том, насколько эффективно организован этот обмен.

По словам авторов, система оптимизирует весь стек инференса и уже совместима более чем с двадцатью MoE-моделями. Дополнительно заявлена поддержка агентных сценариев — то есть длинных цепочек вызовов, где модель работает не одним ответом, а серией шагов.

Если заявленные цифры подтвердятся на практике, это заметно меняет расклад для тех, кто хочет работать с большими моделями локально, без аренды кластера.