LLM-агенты умеют рассуждать, но этого недостаточно в решении реальных задач. Необходимо уметь вызывать сторонние инструменты, справляться с длинными сценариями и оставаться автономными на протяжении десятков шагов. Этому мешают строгие пайплайны с фиксированными режимами и классические подходы вроде ReAct и Plan-and-Solve. Эти подходы задают один и тот же цикл действий и хорошо работают на задачах в два-три шага. Но если дать агенту обширный набор API или MCP, позволить ему самому искать новые инструменты и поставить сложную цель, которую нужно решить за 20–30 вызовов сторонних инструментов, такой подход начинает мешать вместо того, чтобы помогать. Агент теряет автономность, раздувает контекст и накапливает ошибки на длинных траекториях.
Что предлагают исследователи?
В исследовании предлагают не дробить рассуждение на этапы, а вести единый поток: размышляя об инструменте, сразу искать подходящие вариантом с помощью ретривера, читать сжатое описание найденных API и сразу их вызывать. Для этого агент имеет два действия: специальный вызов для ретривера и один шаг для инструментов. При этом набор инструментов обширный и может пополняться за счет ретривера. Все это построено на базе одной модели и одного трека рассуждения.
Память, которая помогает действовать
Иногда длинные траектории мешают агенту из-за потери внимания на ненужных деталях. Для этого в DeepAgent предложено автономное сворачивание памяти: по сигналу агент вставляет шаг fold, и вспомогательная модель сжимает историю взаимодействия в три структурированных блока: рабочая память (что за подцель мы сейчас решаем и какие препятствия возникли), эпизодическая память (что уже произошло и какие решения мы предприняли) и инструментальная память (какие API мы вызывали, с какими параметрами и к чему это привело.) Память хранится в компактной структуре, поэтому после сворачивания агент не теряет важные факты о задаче.
Как обучали
Обычное обучение с подкреплением (RL) на агентных сценариях часто неустойчиво: внешние инструменты отвечают по-разному, и ошибки сильно бьют по обучению. В статье предложено сквозное RL с двумя улучшениями. Во-первых, симулятор API на базе LLM — он имитирует ответы реальных сервисов, ускоряя и удешевляя обучение на тысячах вызовов. Во-вторых, обучающие сценарии, в которых инструментальный вызов заслуживает награды. В итоге финальная функция атрибуции преимущества комбинирует награду за решения заданий, за вызовы инструментов и за сворачивание памяти. При этом итоговая награда от задания приписывается тем токенам, которые отвечают за вызов API. Так обучение становится более точечным. Авторы называют этот подход ToolPO.
Что в экспериментах?
Авторы тестируют DeepAgent в двух режимах: когда все инструменты уже доступны и когда нужные инструменты сперва нужно найти в большой базе. Для обоих случаев используются бенчмарки ToolBench, API-Bank, TMDB, Spotify b ToolHop. На всех наборах новый агент обходит альтернативные сценарии использования инструментов. В режиме открытого поиска API преимущество особенно велико. Например, на сложном ToolBench DeepAgent-32B-RL достигает 64% успеха против лучших пайплайнов, которые находятся около отметки 54%, а на самом сложном ToolHop имеет 40,6% успеха против 29–36% для альтернатив. Авторы также тестируют агент на реальных задачах, для этого в ALFWorld, WebShop и GAIA встроена поддержка вызова инструментов. И в этих задачах новый подход также обгоняет альтернативы. Например, на GAIA DeepAgent-32B-RL показывает 53,3% успешных решения задач против 42,5% у сильного иерархического агента.
Важная деталь — как сценарии масштабирутся с увеличением лимита действий. Авторы тестируют разные лимиты на задачах WebShop. Оказывается, что при большом ограничении по действиям агенты сопоставимы, но чем больше разрешать агенту делать вызовов, тем больше отрыв DeepAgent от того же ReAct.
Почему это важно
Для реальных ассистентов мало уметь рассуждать, нужно еще ориентироваться в богатом наборе API, уметь менять сценарий при ошибках и держать цель в долгом диалоге. DeepAgent показывает, что для этого нужно не дробить сценарий на искусственные этапы, а вести одно рассуждение с единым вызовом — побочным инструментом, расширяя инструменты за счет поиска и контролируя память, чтобы не терять важные факты на долгом горизонте. Кроме того, обучать такие модели можно дешево и стабильно за счет API-симуляции и адресного RL со сворачиванием памяти.
Ограничения — агент все еще зависит от качества поиска инструментов. Симулятор полезен на этапе обучения, но не полностью заменяет внешний инструменты. Тем не менее переход к одному сценарию вместо набора встроенных конвейеров выглядит разумным продолжением развития инструментальных LLM-агентов.
DeepAgent — это шаг к настоящему «длинному мышлению» ИИ. Он не просто рассуждает, а действует в непрерывном потоке, сам находит нужные инструменты, управляет памятью и учится напрямую на своих вызовах. Такой подход убирает искусственные границы между размышлениями и действием, превращая LLM из разговорного партнёра в автономного оператора. Это фундамент для следующего поколения ассистентов — тех, кто не просто красиво отвечает, а успешно завершает задачи.
📜 Полная статья
💾 Код
***
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Источник: habr.com
