Архив рубрики ~Коротко из Telegram~

Google строит новые архитектуры AI на идеях российских учёных. Одна…

Google строит новые архитектуры AI на идеях российских учёных. Одна…

Google строит новые архитектуры AI на идеях российских учёных.

Одна из ключевых проблем нейросетей — ограниченное контекстное окно: чем длиннее входной текст, тем хуже модель удерживает информацию из ранних фрагментов.

В 2020–2022 годах исследователи из российского института AIRI (Куратов, Булатов, Бурцев) предложили решение — Recurrent Memory Transformer с токенами памяти, которые позволяют передавать информацию между сегментами длинного текста. Это позволяет масштабировать контекст до миллионов токенов без квадратичного роста вычислений.

Google цитирует эти работы напрямую в своей архитектуре Titans, а бенчмарк BABILong от той же команды стал стандартом для оценки работы моделей с длинным контекстом.

Суммарно — 800+ цитирований. Фундамент для одного из ключевых направлений Google Research заложили в Москве 🐘

График точности моделей на бенчмарке QA1 и схема задачи bAbI.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Кроманьонцы пришли в боснийскую пещеру Бадань примерно 20 тысяч лет назад. На это указала новая серия радиоуглеродных дат Новости робототехники Кобот Ростеха вылечил 36 животных с дефектами кожи Архив рубрики ~Лента новостей~ Илон Маск усиливает критику в адрес Амбани из-за задержки запуска Starlink в Индии. Архив рубрики ~Полезное~ Microsoft представила Decision-1 — новую ИИ-модель принятия решений, которая обходит… Архив рубрики ~Полезное~ Срочно обновите Телеграм до последней версии: в десктопной версии приложения… Архив рубрики ~Лента новостей~ Как редактировать фото в ChatGPT: заменить фон, удалить объект и изменить детали Новости робототехники До конца 2026 года в Москве планируют запустить около 200… Архив рубрики ~Лента новостей~ Некрасов — красавец, Молчалин — болтун. О чем на самом деле рассказывают говорящие фамилии Архив рубрики ~Лента новостей~ ДНК могла бы быть зеркальной, если бы эволюция решила иначе Новости робототехники Робот, созданный по образцу кленового семени, летает точнее благодаря предиктивному управлению. Архив рубрики ~Лента новостей~ LumenUs помогает автоматизировать утомительную бумажную работу в периоды скорби. Архив рубрики ~Лента новостей~ Заслуженный профессор Димитри Берцекас, влиятельный ученый в области информатики и плодовитый автор, скончался в возрасте 83 лет. Архив рубрики ~Лента новостей~ Опрос Stack Overflow: 78% программистов выгорели или недовольны работой на фоне внедрения ИИ-агентов и экономической нестабильности Архив рубрики ~Лента новостей~ Claude Code на Windows: что я прописал агенту, чтобы он перестал спотыкаться Архив рубрики ~Лента новостей~ Кроманьонцы пришли в боснийскую пещеру Бадань примерно 20 тысяч лет назад. На это указала новая серия радиоуглеродных дат Новости робототехники Кобот Ростеха вылечил 36 животных с дефектами кожи Архив рубрики ~Лента новостей~ Илон Маск усиливает критику в адрес Амбани из-за задержки запуска Starlink в Индии. Архив рубрики ~Полезное~ Microsoft представила Decision-1 — новую ИИ-модель принятия решений, которая обходит… Архив рубрики ~Полезное~ Срочно обновите Телеграм до последней версии: в десктопной версии приложения… Архив рубрики ~Лента новостей~ Как редактировать фото в ChatGPT: заменить фон, удалить объект и изменить детали Новости робототехники До конца 2026 года в Москве планируют запустить около 200… Архив рубрики ~Лента новостей~ Некрасов — красавец, Молчалин — болтун. О чем на самом деле рассказывают говорящие фамилии Архив рубрики ~Лента новостей~ ДНК могла бы быть зеркальной, если бы эволюция решила иначе Новости робототехники Робот, созданный по образцу кленового семени, летает точнее благодаря предиктивному управлению. Архив рубрики ~Лента новостей~ LumenUs помогает автоматизировать утомительную бумажную работу в периоды скорби. Архив рубрики ~Лента новостей~ Заслуженный профессор Димитри Берцекас, влиятельный ученый в области информатики и плодовитый автор, скончался в возрасте 83 лет. Архив рубрики ~Лента новостей~ Опрос Stack Overflow: 78% программистов выгорели или недовольны работой на фоне внедрения ИИ-агентов и экономической нестабильности Архив рубрики ~Лента новостей~ Claude Code на Windows: что я прописал агенту, чтобы он перестал спотыкаться