Архив рубрики ~Коротко из Telegram~

Google строит новые архитектуры AI на идеях российских учёных. Одна…

Google строит новые архитектуры AI на идеях российских учёных. Одна…

Google строит новые архитектуры AI на идеях российских учёных.

Одна из ключевых проблем нейросетей — ограниченное контекстное окно: чем длиннее входной текст, тем хуже модель удерживает информацию из ранних фрагментов.

В 2020–2022 годах исследователи из российского института AIRI (Куратов, Булатов, Бурцев) предложили решение — Recurrent Memory Transformer с токенами памяти, которые позволяют передавать информацию между сегментами длинного текста. Это позволяет масштабировать контекст до миллионов токенов без квадратичного роста вычислений.

Google цитирует эти работы напрямую в своей архитектуре Titans, а бенчмарк BABILong от той же команды стал стандартом для оценки работы моделей с длинным контекстом.

Суммарно — 800+ цитирований. Фундамент для одного из ключевых направлений Google Research заложили в Москве 🐘

График точности моделей на бенчмарке QA1 и схема задачи bAbI.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Состояние дел с программами-вымогателями в 2026 году: выплаты падают, но уровень шифрования растет. Архив рубрики ~Лента новостей~ Что останется от облаков, когда инфраструктурой займутся агенты Архив рубрики ~Лента новостей~ «МТС Линк» научил ИИ-ассистента автоматически составлять список задач после встреч Архив рубрики ~Лента новостей~ «Узкое место» в пространственной биологии: почему модели ИИ терпят неудачу при работе со сложными тканями и что на самом деле помогает это исправить. Архив рубрики ~Лента новостей~ Новые промты от Google и GPT (#5 выпуск) — возможно, вы искали именно их🤔 Архив рубрики ~Лента новостей~ Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость Архив рубрики ~Лента новостей~ Частый просмотр телевизора связали с патологией белого вещества головного мозга. Сидячий образ жизни с когнитивными нагрузками не оказывал подобного эффекта Архив рубрики ~Лента новостей~ Эта технология показала хорошие результаты. Системы обороны — это будущее. Архив рубрики ~Лента новостей~ Как мы «приручали» ИИ в WMS Новости робототехники Один ролик вместо четырёх часов переобучения Чтобы научить робота новой… Новости робототехники Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Архив рубрики ~Лента новостей~ Каждый микробиом рассказывает изменчивую, поддающуюся вычислению историю. Архив рубрики ~Лента новостей~ Пользователи DeepSeek рассказали о баге, из-за которого чат-бот присылает фрагменты из переписок с другими пользователями Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Архив рубрики ~Лента новостей~ Состояние дел с программами-вымогателями в 2026 году: выплаты падают, но уровень шифрования растет. Архив рубрики ~Лента новостей~ Что останется от облаков, когда инфраструктурой займутся агенты Архив рубрики ~Лента новостей~ «МТС Линк» научил ИИ-ассистента автоматически составлять список задач после встреч Архив рубрики ~Лента новостей~ «Узкое место» в пространственной биологии: почему модели ИИ терпят неудачу при работе со сложными тканями и что на самом деле помогает это исправить. Архив рубрики ~Лента новостей~ Новые промты от Google и GPT (#5 выпуск) — возможно, вы искали именно их🤔 Архив рубрики ~Лента новостей~ Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость Архив рубрики ~Лента новостей~ Частый просмотр телевизора связали с патологией белого вещества головного мозга. Сидячий образ жизни с когнитивными нагрузками не оказывал подобного эффекта Архив рубрики ~Лента новостей~ Эта технология показала хорошие результаты. Системы обороны — это будущее. Архив рубрики ~Лента новостей~ Как мы «приручали» ИИ в WMS Новости робототехники Один ролик вместо четырёх часов переобучения Чтобы научить робота новой… Новости робототехники Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Архив рубрики ~Лента новостей~ Каждый микробиом рассказывает изменчивую, поддающуюся вычислению историю. Архив рубрики ~Лента новостей~ Пользователи DeepSeek рассказали о баге, из-за которого чат-бот присылает фрагменты из переписок с другими пользователями Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами