GFusion: как мы обучали диффузионную LLM в GigaChat
Салют, Хабр!
Хочу поделиться проектом, которым я занимался во время стажировки в команде GigaChat Pretrain. В течение нескольких месяцев мы исследовали диффузионные языковые модели (dLLM) — относительно новое направление в LLM, в котором многие идеи только начинают проверяться на практике.
Главной целью было не тратить огромное количество ресурсов на обучение с нуля, а взять базовую авторегрессионную модель GigaChat3-10B-A1.8B-base и перевести её в диффузионный режим. Так появились наши экспериментальные GFusion-10B-A1.8B-base и GFusion-10B-A1.8B!
Читать далее
Источник: habr.com
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Архив рубрики ~Полезное~
6 приёмов, от которых AI-видео оживает Генератор видео может выдать…
Архив рубрики ~Коротко из Telegram~
🎬 БЕСПЛАТНАЯ АЛЬТЕРНАТИВА CAPCUT: МОНТАЖ БЕЗ ОГРАНИЧЕНИЙ Представляем полностью бесплатный…
Архив рубрики ~Полезное~
Сегодня самое мясо для кодеров: агент, который работает по расписанию,…
Архив рубрики ~Коротко из Telegram~
Google научит вас собирать своих ИИ-агентов — вышел Advent of…
Архив рубрики ~Полезное~
Anthropic открыла базу инженерных знаний Справочники описывают интерфейсы, но не…
Архив рубрики ~Коротко из Telegram~
Google УРЕЗАЕТ бесплатный Gemini — с 9 октября пользователям оставят…
Архив рубрики ~Коротко из Telegram~
ИИ-стартап хочет редактировать эмбрионы человека — чтобы убирать наследственные болезни…
Архив рубрики ~Полезное~
Fish Audio выкатила Drama 3 — генератор речи с управлением…
Архив рубрики ~Коротко из Telegram~
Водители начали ставить самодельные автопилоты на обычные машины Пока автопроизводители…
Архив рубрики ~Коротко из Telegram~
Anthropic начала массово блокировать аккаунты Claude пользователей, которые подключаются через…
Архив рубрики ~Коротко из Telegram~
«Яндекс» решил изменить механизм долгосрочной мотивации сотрудников: вместо ежеквартального выпуска…
Архив рубрики ~Коротко из Telegram~
Китайская Tencent договорилась с Oracle об аренде 100 тыс. передовых…
Архив рубрики ~Коротко из Telegram~
#слухи от Марка Гурмана: Джон Тернус выбрал нового принимающего решения…
Архив рубрики ~Коротко из Telegram~
Не знаю, попахивает истерикой в рядах OpenAI, но посмотрим что…
Архив рубрики ~Полезное~
6 приёмов, от которых AI-видео оживает Генератор видео может выдать…
Архив рубрики ~Коротко из Telegram~
🎬 БЕСПЛАТНАЯ АЛЬТЕРНАТИВА CAPCUT: МОНТАЖ БЕЗ ОГРАНИЧЕНИЙ Представляем полностью бесплатный…
Архив рубрики ~Полезное~
Сегодня самое мясо для кодеров: агент, который работает по расписанию,…
Архив рубрики ~Коротко из Telegram~
Google научит вас собирать своих ИИ-агентов — вышел Advent of…
Архив рубрики ~Полезное~
Anthropic открыла базу инженерных знаний Справочники описывают интерфейсы, но не…
Архив рубрики ~Коротко из Telegram~
Google УРЕЗАЕТ бесплатный Gemini — с 9 октября пользователям оставят…
Архив рубрики ~Коротко из Telegram~
ИИ-стартап хочет редактировать эмбрионы человека — чтобы убирать наследственные болезни…
Архив рубрики ~Полезное~
Fish Audio выкатила Drama 3 — генератор речи с управлением…
Архив рубрики ~Коротко из Telegram~
Водители начали ставить самодельные автопилоты на обычные машины Пока автопроизводители…
Архив рубрики ~Коротко из Telegram~
Anthropic начала массово блокировать аккаунты Claude пользователей, которые подключаются через…
Архив рубрики ~Коротко из Telegram~
«Яндекс» решил изменить механизм долгосрочной мотивации сотрудников: вместо ежеквартального выпуска…
Архив рубрики ~Коротко из Telegram~
Китайская Tencent договорилась с Oracle об аренде 100 тыс. передовых…
Архив рубрики ~Коротко из Telegram~
#слухи от Марка Гурмана: Джон Тернус выбрал нового принимающего решения…
Архив рубрики ~Коротко из Telegram~
Не знаю, попахивает истерикой в рядах OpenAI, но посмотрим что…
Похожие записи
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.