Большие языковые модели отлично решают короткие тесты на логику и код. Но в реальной работе задачи растягиваются на десятки и сотни шагов, требуют переключения между разными приложениями, аккуратного ведения контекста и умения исправлять собственные ошибки. Главная проблема тут в том, что на этапе тестирования большинство агентов остаются статичными: они не накапливают опыт и не становятся лучше от попытки к попытке. Авторы MUSE предлагают простой, но сильный ответ: встроить в агента живую память и научить его осмысленно перерабатывать собственные траектории в знания, пригодные для повторного использования.
Идея MUSE в одном абзаце
MUSE — это агент с циклом планирование–выполнение–рефлексия–запоминание. Он решает задачу по шагам, после каждой значимой подзадачи оценивает свою работу, превращает успешные последовательности действий в структурированные инструкции и складывает их в память. В конце большой задачи дистиллирует более общие стратегии и подсказки по инструментам. Память хранится на естественном языке, поэтому переносится между моделями и не требует дообучения параметров.
Память как двигатель опыта
В MUSE три вида памяти, и все они работают вместе:
Стратегическая: краткие уроки из типичных тупиков и способов их обходить. Эти принципы подгружаются как опорный контекст и периодически сжимаются, чтобы не раздуваться.
Процедурная: библиотека SOP — пошаговых инструкций для подзадач в конкретных приложениях. Агент хранит лёгкий индекс и по требованию подтягивает детали, чтобы не перегружать контекст.
Инструментальная: фактически мышечная память по инструментам. После задач туда попадают уточнения, которые помогают действовать быстрее и надёжнее при следующих попытках.
Отдельный агент рефлексии проверяет, действительно ли цель достигнута, опираясь на наблюдения и артефакты, и либо добавляет новую SOP в память, либо формирует отчёт о провале и запускает перепланирование. Важно, что SOP рождаются из удачных реальных траекторий и потому оказываются практичными.
Где это проверяли
Авторы тестируют MUSE на бенчмарке TheAgentCompany (TAC) — это 175 задач офисной продуктивности: HR, финансы, управление проектами, разработка. В среднем более 40 шагов на задачу, часто нужно работать сразу в нескольких приложениях. В качестве базовой модели взяли Gemini‑2.5 Flash, NPC в среде — GPT‑4o. Ограничение действий на подзадачу — 20.
Что показали эксперименты
Непрерывное обучение: на наборе из 18 задач метрики росли монотонно при трёх последовательных проходах без участия человека. В финале MUSE обогнал версию без памяти более чем на 10% по доле выполненных чекпоинтов и итоговому баллу.
Обобщение: заморозили память, накопленную на средних задачах, и вынесли её на самый сложный набор. Даже базовый MUSE без памяти существенно опередил популярные фреймворки, а с памятью прибавил ещё заметно: до 40.68% по чекпоинтам и 33.41% по среднему частичному баллу.
Полный TAC (175 задач): MUSE с лёгкой моделью дал новый уровень — 51.78% среднего частичного балла, 59.92% по чекпоинтам и 41.14% PCR. Прежние сильные системы держались в районе 43% по среднему частичному баллу, то есть отрыв близок к 20% относительного прироста.
Живые кейсы
В задаче сбора отзывов о сотруднике агент вместо трёх отдельных диалогов открыл групповой чат и собрал ответы быстрее, не потеряв качество. Это показывает, что стратегии из памяти не загоняют в жёсткий сценарий, а дают основу для гибких решений.
Другой пример — создание issue в GitLab. По ходу оказалось, что нужного аккаунта нет, и назначить задачу некому. Агент сам создал аккаунт, добавил в команду и довёл процесс до конца, корректируя план и опираясь на уже отработанные SOP по навигации и проверкам.
Почему это работает
MUSE не пытается сразу построить сложную модель мира. Он аккуратно складывает проверенные кусочки опыта: как надёжно войти в систему, как убедиться, что файл действительно записан, как верифицировать результат после клика. Эти маленькие кирпичики легко переносить между задачами и даже между разными большими языковыми моделями. Авторы показывают, что память на естественном языке переносится на другой движок без просадки, а иногда и с заметным выигрышем. Важная деталь — рефлексия. Абляции показывают, что без неё качество заметно падает: ухудшается как исполнение, так и обучающий сигнал для памяти.
Итог
MUSE не волшебная палочка для задач, где нужен глубокий многошаговый поиск или тяжёлое высокоуровневое планирование. Но там, где работа разбита на чёткие подзадачи, а ошибки повторяются, опыт помогает отсекать тупиковые ветви и ускоряет путь к решению. Такой подход дешевле, чем постоянное дообучение, и устойчивее, чем чистый RL в средах с редкими наградами. Ещё плюс: память легко читать, исправлять и дополнять.
MUSE показывает, как агент может становиться сильнее прямо во время работы. Иерархическая память, строгая верификация результатов и аккуратная дистилляция опыта дают стабильный рост и новый уровень качества на длинных задачах. И всё это — с лёгкой моделью на борту.
📜 Полная статья
💾 Код
***
Если вам интересна тема ИИ, подписывайтесь на мой Telegram‑канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Источник: habr.com
