Архив рубрики ~Коротко из Telegram~

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini Выпущена…

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini Выпущена…

16B-модель, которая запускается на «обычном» железе — LLaDA 2.1-mini

Выпущена LLaDA 2.1-mini с нестандартной архитектурой: модель активируется по частям во время генерации.

Ключевые параметры:
— Общий объём — 16B параметров
— На каждом шаге задействовано около 1,4B
— Снижение требований к видеопамяти за счёт поэтапной активации
— Контекст — 32 000 токенов

Подход позволяет запускать крупную модель на оборудовании, рассчитанном на небольшие LLM.

Научная статья LLda2.1 о токенах и диффузии текста, схема редактирования.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ «Яндекс 360» обновил «Почту», «Документы» и другие сервисы Архив рубрики ~Лента новостей~ Тенденции из окопов: почему семантика имеет значение в биологических науках Новости робототехники Когда компьютерное зрение на складе окупается, а когда становится дорогим экспериментом Архив рубрики ~Лента новостей~ Пятьдесят лет священной войны Архив рубрики ~Обо всем~ Вторая полная карта мозга плодовой мухи завершена. Новости робототехники TechCrunch Mobility: Tesla Cybercab выходит на дороги — и сталкивается с проблемой. Архив рубрики ~Лента новостей~ Claude Opus 5 вывела из строя Mac пользователя, по ошибке установив 4026 год Архив рубрики ~Обо всем~ Как AI меняет фарму: опыт «АстраЗенека» в России и в мире Архив рубрики ~Лента новостей~ Первичное публичное размещение акций Anthropic на сумму 2 триллиона долларов привлекает внимание к влиятельным внешним доверительным управляющим. Архив рубрики ~Лента новостей~ Этот интерактивный инструмент визуально сравнивает риск, связанный с вашей вакцинацией, и риск заболевания. Архив рубрики ~Обо всем~ КИТАЙСКАЯ КУЛЬТУРНАЯ РЕВОЛЮЦИЯ И ИДЕАЛИЗМ В ФИЗИКЕ Архив рубрики ~Лента новостей~ Авторы выступают против требований издателей и агентов, выдвинутых в рамках соглашения с Anthropic. Архив рубрики ~Обо всем~ Вибрирующая капсула выявляет биомаркеры взаимодействия кишечника и мозга, указывающие на рецидив анорексии. Архив рубрики ~Лента новостей~ ChatGPT написал без ошибок. Почему этот текст всё равно нельзя публиковать от имени руководителя Архив рубрики ~Лента новостей~ «Яндекс 360» обновил «Почту», «Документы» и другие сервисы Архив рубрики ~Лента новостей~ Тенденции из окопов: почему семантика имеет значение в биологических науках Новости робототехники Когда компьютерное зрение на складе окупается, а когда становится дорогим экспериментом Архив рубрики ~Лента новостей~ Пятьдесят лет священной войны Архив рубрики ~Обо всем~ Вторая полная карта мозга плодовой мухи завершена. Новости робототехники TechCrunch Mobility: Tesla Cybercab выходит на дороги — и сталкивается с проблемой. Архив рубрики ~Лента новостей~ Claude Opus 5 вывела из строя Mac пользователя, по ошибке установив 4026 год Архив рубрики ~Обо всем~ Как AI меняет фарму: опыт «АстраЗенека» в России и в мире Архив рубрики ~Лента новостей~ Первичное публичное размещение акций Anthropic на сумму 2 триллиона долларов привлекает внимание к влиятельным внешним доверительным управляющим. Архив рубрики ~Лента новостей~ Этот интерактивный инструмент визуально сравнивает риск, связанный с вашей вакцинацией, и риск заболевания. Архив рубрики ~Обо всем~ КИТАЙСКАЯ КУЛЬТУРНАЯ РЕВОЛЮЦИЯ И ИДЕАЛИЗМ В ФИЗИКЕ Архив рубрики ~Лента новостей~ Авторы выступают против требований издателей и агентов, выдвинутых в рамках соглашения с Anthropic. Архив рубрики ~Обо всем~ Вибрирующая капсула выявляет биомаркеры взаимодействия кишечника и мозга, указывающие на рецидив анорексии. Архив рубрики ~Лента новостей~ ChatGPT написал без ошибок. Почему этот текст всё равно нельзя публиковать от имени руководителя