16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini Выпущена…
16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini
Выпущена LLaDA 2.1-mini с нестандартной архитектурой: модель активируется по частям во время генерации.
Ключевые параметры:
— Общий объём — 16B параметров
— На каждом шаге задействовано около 1,4B
— Снижение требований к видеопамяти за счёт поэтапной активации
— Контекст — 32 000 токенов
Подход позволяет запускать крупную модель на оборудовании, рассчитанном на небольшие LLM.
Оцените материал:
