Архив рубрики ~Коротко из Telegram~

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini Выпущена…

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini Выпущена…

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini

Выпущена LLaDA 2.1-mini с нестандартной архитектурой: модель активируется по частям во время генерации.

Ключевые параметры:
— Общий объём — 16B параметров
— На каждом шаге задействовано около 1,4B
— Снижение требований к видеопамяти за счёт поэтапной активации
— Контекст — 32 000 токенов

Подход позволяет запускать крупную модель на оборудовании, рассчитанном на небольшие LLM.

Научная статья LLda2.1 о токенах и диффузии текста, схема редактирования.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Что останется от облаков, когда инфраструктурой займутся агенты Архив рубрики ~Лента новостей~ «МТС Линк» научил ИИ-ассистента автоматически составлять список задач после встреч Архив рубрики ~Лента новостей~ «Узкое место» в пространственной биологии: почему модели ИИ терпят неудачу при работе со сложными тканями и что на самом деле помогает это исправить. Архив рубрики ~Лента новостей~ Новые промты от Google и GPT (#5 выпуск) — возможно, вы искали именно их🤔 Архив рубрики ~Лента новостей~ Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость Архив рубрики ~Лента новостей~ Частый просмотр телевизора связали с патологией белого вещества головного мозга. Сидячий образ жизни с когнитивными нагрузками не оказывал подобного эффекта Архив рубрики ~Лента новостей~ Эта технология показала хорошие результаты. Системы обороны — это будущее. Архив рубрики ~Лента новостей~ Как мы «приручали» ИИ в WMS Новости робототехники Один ролик вместо четырёх часов переобучения Чтобы научить робота новой… Новости робототехники Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Архив рубрики ~Лента новостей~ Каждый микробиом рассказывает изменчивую, поддающуюся вычислению историю. Архив рубрики ~Лента новостей~ Пользователи DeepSeek рассказали о баге, из-за которого чат-бот присылает фрагменты из переписок с другими пользователями Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Новости робототехники Соучредитель Uber привлек $1,7 млрд для нового робототехнического стартапа ATOMS Архив рубрики ~Лента новостей~ Что останется от облаков, когда инфраструктурой займутся агенты Архив рубрики ~Лента новостей~ «МТС Линк» научил ИИ-ассистента автоматически составлять список задач после встреч Архив рубрики ~Лента новостей~ «Узкое место» в пространственной биологии: почему модели ИИ терпят неудачу при работе со сложными тканями и что на самом деле помогает это исправить. Архив рубрики ~Лента новостей~ Новые промты от Google и GPT (#5 выпуск) — возможно, вы искали именно их🤔 Архив рубрики ~Лента новостей~ Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость Архив рубрики ~Лента новостей~ Частый просмотр телевизора связали с патологией белого вещества головного мозга. Сидячий образ жизни с когнитивными нагрузками не оказывал подобного эффекта Архив рубрики ~Лента новостей~ Эта технология показала хорошие результаты. Системы обороны — это будущее. Архив рубрики ~Лента новостей~ Как мы «приручали» ИИ в WMS Новости робототехники Один ролик вместо четырёх часов переобучения Чтобы научить робота новой… Новости робототехники Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Архив рубрики ~Лента новостей~ Каждый микробиом рассказывает изменчивую, поддающуюся вычислению историю. Архив рубрики ~Лента новостей~ Пользователи DeepSeek рассказали о баге, из-за которого чат-бот присылает фрагменты из переписок с другими пользователями Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Новости робототехники Соучредитель Uber привлек $1,7 млрд для нового робототехнического стартапа ATOMS