Как агент учится на ходу: почему память оказалась сильнее дообучения

Большие языковые модели отлично решают короткие тесты на логику и код. Но в реальной работе задачи растягиваются на десятки и сотни шагов, требуют переключения между разными приложениями, аккуратного ведения контекста и умения исправлять собственные ошибки. Главная проблема тут в том, что на этапе тестирования большинство агентов остаются статичными: они не накапливают опыт и не становятся лучше от попытки к попытке. Авторы MUSE предлагают простой, но сильный ответ: встроить в агента живую память и научить его осмысленно перерабатывать собственные траектории в знания, пригодные для повторного использования.

Идея MUSE в одном абзаце

MUSE — это агент с циклом планирование–выполнение–рефлексия–запоминание. Он решает задачу по шагам, после каждой значимой подзадачи оценивает свою работу, превращает успешные последовательности действий в структурированные инструкции и складывает их в память. В конце большой задачи дистиллирует более общие стратегии и подсказки по инструментам. Память хранится на естественном языке, поэтому переносится между моделями и не требует дообучения параметров.

Память как двигатель опыта

В MUSE три вида памяти, и все они работают вместе:

• Стратегическая: краткие уроки из типичных тупиков и способов их обходить. Эти принципы подгружаются как опорный контекст и периодически сжимаются, чтобы не раздуваться.

• Процедурная: библиотека SOP — пошаговых инструкций для подзадач в конкретных приложениях. Агент хранит лёгкий индекс и по требованию подтягивает детали, чтобы не перегружать контекст.

• Инструментальная: фактически мышечная память по инструментам. После задач туда попадают уточнения, которые помогают действовать быстрее и надёжнее при следующих попытках.

Отдельный агент рефлексии проверяет, действительно ли цель достигнута, опираясь на наблюдения и артефакты, и либо добавляет новую SOP в память, либо формирует отчёт о провале и запускает перепланирование. Важно, что SOP рождаются из удачных реальных траекторий и потому оказываются практичными.

Где это проверяли

Авторы тестируют MUSE на бенчмарке TheAgentCompany (TAC) — это 175 задач офисной продуктивности: HR, финансы, управление проектами, разработка. В среднем более 40 шагов на задачу, часто нужно работать сразу в нескольких приложениях. В качестве базовой модели взяли Gemini‑2.5 Flash, NPC в среде — GPT‑4o. Ограничение действий на подзадачу — 20.

Что показали эксперименты

• Непрерывное обучение: на наборе из 18 задач метрики росли монотонно при трёх последовательных проходах без участия человека. В финале MUSE обогнал версию без памяти более чем на 10% по доле выполненных чекпоинтов и итоговому баллу.

• Обобщение: заморозили память, накопленную на средних задачах, и вынесли её на самый сложный набор. Даже базовый MUSE без памяти существенно опередил популярные фреймворки, а с памятью прибавил ещё заметно: до 40.68% по чекпоинтам и 33.41% по среднему частичному баллу.

• Полный TAC (175 задач): MUSE с лёгкой моделью дал новый уровень — 51.78% среднего частичного балла, 59.92% по чекпоинтам и 41.14% PCR. Прежние сильные системы держались в районе 43% по среднему частичному баллу, то есть отрыв близок к 20% относительного прироста.

Живые кейсы

В задаче сбора отзывов о сотруднике агент вместо трёх отдельных диалогов открыл групповой чат и собрал ответы быстрее, не потеряв качество. Это показывает, что стратегии из памяти не загоняют в жёсткий сценарий, а дают основу для гибких решений.

Другой пример — создание issue в GitLab. По ходу оказалось, что нужного аккаунта нет, и назначить задачу некому. Агент сам создал аккаунт, добавил в команду и довёл процесс до конца, корректируя план и опираясь на уже отработанные SOP по навигации и проверкам.

Почему это работает

MUSE не пытается сразу построить сложную модель мира. Он аккуратно складывает проверенные кусочки опыта: как надёжно войти в систему, как убедиться, что файл действительно записан, как верифицировать результат после клика. Эти маленькие кирпичики легко переносить между задачами и даже между разными большими языковыми моделями. Авторы показывают, что память на естественном языке переносится на другой движок без просадки, а иногда и с заметным выигрышем. Важная деталь — рефлексия. Абляции показывают, что без неё качество заметно падает: ухудшается как исполнение, так и обучающий сигнал для памяти.

Итог

MUSE не волшебная палочка для задач, где нужен глубокий многошаговый поиск или тяжёлое высокоуровневое планирование. Но там, где работа разбита на чёткие подзадачи, а ошибки повторяются, опыт помогает отсекать тупиковые ветви и ускоряет путь к решению. Такой подход дешевле, чем постоянное дообучение, и устойчивее, чем чистый RL в средах с редкими наградами. Ещё плюс: память легко читать, исправлять и дополнять.

MUSE показывает, как агент может становиться сильнее прямо во время работы. Иерархическая память, строгая верификация результатов и аккуратная дистилляция опыта дают стабильный рост и новый уровень качества на длинных задачах. И всё это — с лёгкой моделью на борту.

📜 Полная статья

💾 Код

***

Если вам интересна тема ИИ, подписывайтесь на мой Telegram‑канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.

Источник: habr.com