16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini
Выпущена LLaDA 2.1-mini с нестандартной архитектурой: модель активируется по частям во время генерации.
Ключевые параметры:
— Общий объём — 16B параметров
— На каждом шаге задействовано около 1,4B
— Снижение требований к видеопамяти за счёт поэтапной активации
— Контекст — 32 000 токенов
Подход позволяет запускать крупную модель на оборудовании, рассчитанном на небольшие LLM.
✅ Найденные теги: 16B-модель, LLaDA, Железо, искусственный интеллект, Модель, новости
