GFusion: как мы обучали диффузионную LLM в GigaChat
Салют, Хабр!
Хочу поделиться проектом, которым я занимался во время стажировки в команде GigaChat Pretrain. В течение нескольких месяцев мы исследовали диффузионные языковые модели (dLLM) — относительно новое направление в LLM, в котором многие идеи только начинают проверяться на практике.
Главной целью было не тратить огромное количество ресурсов на обучение с нуля, а взять базовую авторегрессионную модель GigaChat3-10B-A1.8B-base и перевести её в диффузионный режим. Так появились наши экспериментальные GFusion-10B-A1.8B-base и GFusion-10B-A1.8B!
Читать далее
Источник: habr.com
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Новости робототехники
Unichem® Loomia, для быстрого выхода на рынок «кожи» гуманоидов
Архив рубрики ~Коротко из Telegram~
«Росэнергоатом» начал опытно-промышленную эксплуатацию отечественной системы «Торэкс» на всех 11…
Архив рубрики ~Коротко из Telegram~
На GitHub появился skill-forge — открытый инструмент-«мастерская», который автоматизирует…
Архив рубрики ~Коротко из Telegram~
ИИ принёс экономике Тайваня столько денег, что профицит решили раздать…
Архив рубрики ~Коротко из Telegram~
На Московском центральном кольце начали тестировать электропоезд «Ласточка» с автоматизацией…
Архив рубрики ~Коротко из Telegram~
Строители не поверили датчикам и заплатили за ошибку более $500…
Архив рубрики ~Коротко из Telegram~
У AirPods появятся глаза? В финальной сборке macOS Tahoe 26.7…
Архив рубрики ~Коротко из Telegram~
Конгресс США тонет в нейрослопе Американские конгрессмены, их помощники и…
Архив рубрики ~Коротко из Telegram~
Код macOS 26.7 Release Candidate раскрыл огромное количество устройств Apple,…
Архив рубрики ~Коротко из Telegram~
Apple исправила около 30 различных уязвимостей в iOS/iPadOS 26.6.1…
Новости робототехники
Кстати, он ещё умеет прыгать на два метра в высоту….
Архив рубрики ~Коротко из Telegram~
Качество генераций в Nano Banana, или видеомоделях вроде Kling зависит…
Архив рубрики ~Коротко из Telegram~
Для DeepSeek Harness собрали каталог из 1250 плагинов На GitHub…
Архив рубрики ~Коротко из Telegram~
GitHub превратили в ленту рилсов для поиска репозиториев Появился сервис…
Новости робототехники
Unichem® Loomia, для быстрого выхода на рынок «кожи» гуманоидов
Архив рубрики ~Коротко из Telegram~
«Росэнергоатом» начал опытно-промышленную эксплуатацию отечественной системы «Торэкс» на всех 11…
Архив рубрики ~Коротко из Telegram~
На GitHub появился skill-forge — открытый инструмент-«мастерская», который автоматизирует…
Архив рубрики ~Коротко из Telegram~
ИИ принёс экономике Тайваня столько денег, что профицит решили раздать…
Архив рубрики ~Коротко из Telegram~
На Московском центральном кольце начали тестировать электропоезд «Ласточка» с автоматизацией…
Архив рубрики ~Коротко из Telegram~
Строители не поверили датчикам и заплатили за ошибку более $500…
Архив рубрики ~Коротко из Telegram~
У AirPods появятся глаза? В финальной сборке macOS Tahoe 26.7…
Архив рубрики ~Коротко из Telegram~
Конгресс США тонет в нейрослопе Американские конгрессмены, их помощники и…
Архив рубрики ~Коротко из Telegram~
Код macOS 26.7 Release Candidate раскрыл огромное количество устройств Apple,…
Архив рубрики ~Коротко из Telegram~
Apple исправила около 30 различных уязвимостей в iOS/iPadOS 26.6.1…
Новости робототехники
Кстати, он ещё умеет прыгать на два метра в высоту….
Архив рубрики ~Коротко из Telegram~
Качество генераций в Nano Banana, или видеомоделях вроде Kling зависит…
Архив рубрики ~Коротко из Telegram~
Для DeepSeek Harness собрали каталог из 1250 плагинов На GitHub…
Архив рубрики ~Коротко из Telegram~
GitHub превратили в ленту рилсов для поиска репозиториев Появился сервис…
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.