16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini Выпущена…

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini

Выпущена LLaDA 2.1-mini с нестандартной архитектурой: модель активируется по частям во время генерации.

Ключевые параметры:
— Общий объём — 16B параметров
— На каждом шаге задействовано около 1,4B
— Снижение требований к видеопамяти за счёт поэтапной активации
— Контекст — 32 000 токенов

Подход позволяет запускать крупную модель на оборудовании, рассчитанном на небольшие LLM.