Архив рубрики ~Лента новостей~

Сбер опубликовал экспериментальную диффузионную языковую модель GFusion

Сбер опубликовал экспериментальную диффузионную языковую модель GFusion
Сбер опубликовал экспериментальную диффузионную языковую модель GFusion

Вместе с моделью Сбер опубликовал инструменты, ускоряющие обучение диффузионных моделей.

Сбер представил GFusion — экспериментальную диффузионную языковую модель, разработанную на основе нейросети GigaChat. Ключевой особенностью проекта, созданного стажёром команды фундаментальных моделей, стал принципиально иной подход к генерации текста, который открывает новые возможности для исследований в области искусственного интеллекта.

Изображение сгенерировано нейросетью ChatGPT
Изображение сгенерировано нейросетью ChatGPT

В отличие от классических языковых моделей, которые создают текст последовательно, слово за словом, GFusion работает по аналогии с генерацией изображений. Модель сначала формирует общий «набросок» ответа, а затем пошагово его дорабатывает. В Сбере отметили, что это позволяет генерировать текст до 45% быстрее по сравнению с GigaChat 3 и обеспечивает большую гибкость: модель может дополнять любую часть ответа, не следуя строгому порядку слева направо.

Помимо самой модели, Сбер опубликовал инструменты для ускорения обучения подобных систем и внёс изменения в популярный фреймворк SGLang, добавив в него поддержку GFusion. Это первый в России проект по созданию диффузионных языковых моделей с открытым исходным кодом такого масштаба.

Источник: ixbt.pro

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Новости робототехники Оптимизированный контроллер на основе нечеткой логики снижает среднюю ошибку отслеживания роботизированной руки на 89% в ходе моделирования. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Новости робототехники Это простое изменение предотвращает застревание роев роботов. Новости робототехники Как я готовил робота-собаку Unitree Go2 на удаленке к МТС True Tech Champ Новости робототехники Гибкие роботизированные манипуляторы учатся предсказывать свои следующие движения. Новости робототехники Выращенные в лаборатории мышцы мышей позволяют крошечным роботам прыгать, плавать, ходить и хватать предметы. Новости робототехники Колесные, летающие и шестиногие роботы остаются на правильном пути благодаря новому методу обучения. Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Новости робототехники БИОЛОГ: НЕУМЕРЕННОЕ ИСПОЛЬЗОВАНИЕ ГАДЖЕТОВ НЕОБРАТИМО МЕНЯЕТ ЛИЧНОСТЬ РЕБЁНКА Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Новости робототехники Новая система искусственного интеллекта поможет машинам более детально понимать трехмерное пространство. Новости робототехники Ростех показал кобота с «умным» зрением Новости робототехники ДНК-роботы могли бы доставлять лекарства и выслеживать вирусы внутри вашего тела. Новости робототехники Человекоподобные роботы, играющие в футбол, забили важный гол в области робототехники, продемонстрировав высокую координацию движений. Новости робототехники Оптимизированный контроллер на основе нечеткой логики снижает среднюю ошибку отслеживания роботизированной руки на 89% в ходе моделирования. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Новости робототехники Это простое изменение предотвращает застревание роев роботов. Новости робототехники Как я готовил робота-собаку Unitree Go2 на удаленке к МТС True Tech Champ Новости робототехники Гибкие роботизированные манипуляторы учатся предсказывать свои следующие движения. Новости робототехники Выращенные в лаборатории мышцы мышей позволяют крошечным роботам прыгать, плавать, ходить и хватать предметы. Новости робототехники Колесные, летающие и шестиногие роботы остаются на правильном пути благодаря новому методу обучения. Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Новости робототехники БИОЛОГ: НЕУМЕРЕННОЕ ИСПОЛЬЗОВАНИЕ ГАДЖЕТОВ НЕОБРАТИМО МЕНЯЕТ ЛИЧНОСТЬ РЕБЁНКА Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Новости робототехники Новая система искусственного интеллекта поможет машинам более детально понимать трехмерное пространство. Новости робототехники Ростех показал кобота с «умным» зрением Новости робототехники ДНК-роботы могли бы доставлять лекарства и выслеживать вирусы внутри вашего тела. Новости робототехники Человекоподобные роботы, играющие в футбол, забили важный гол в области робототехники, продемонстрировав высокую координацию движений.