EnCompass запускает программы ИИ-агентов, используя метод обратного отслеживания и совершая множество попыток, чтобы найти наилучший набор результатов, сгенерированных LLM. Это может помочь программистам более эффективно работать с ИИ-агентами. 
При запуске программы EnCompass автоматически выполняет возврат к исходному состоянию, если LLM допускает ошибки. EnCompass также может создавать клоны среды выполнения программы для параллельного выполнения нескольких попыток в поисках наилучшего решения. Изображение: Алекс Шиппс/MIT CSAIL
Будь вы учёный, обдумывающий исследовательские идеи, или генеральный директор, стремящийся автоматизировать задачи в сфере управления персоналом или финансов, вы обнаружите, что инструменты искусственного интеллекта становятся помощниками, о необходимости которых вы даже не подозревали. В частности, многие специалисты используют возможности полуавтономных программных систем, называемых агентами ИИ, которые могут обращаться к ИИ в определённых точках для решения проблем и выполнения задач.
Искусственный интеллект особенно эффективен при использовании больших языковых моделей (БЯМ), поскольку такие системы мощные, эффективные и адаптируемые. Один из способов программирования таких технологий — описание в коде того, что вы хотите, чтобы ваша система делала («рабочий процесс»), включая случаи, когда она должна использовать БЯМ. Если бы вы были компанией-разработчиком программного обеспечения, пытающейся обновить свой старый код, чтобы использовать более современный язык программирования для лучшей оптимизации и безопасности, вы могли бы создать систему, которая использует БЯМ для перевода кода по одному файлу за раз, тестируя каждый файл по мере работы.
Но что происходит, когда LLM совершают ошибки? Вам понадобится, чтобы агент вернулся назад и предпринял еще одну попытку, учитывая уроки, извлеченные из предыдущих ошибок. Реализация этого процесса может потребовать столько же усилий, сколько и реализация исходного агента; если ваша система для перевода кода содержит тысячи строк, то вам придется внести тысячи изменений или дополнений в код, чтобы обеспечить логику возврата назад при ошибках LLM.
Чтобы сэкономить время и усилия программистов, исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и компании Asari AI разработали фреймворк под названием «EnCompass».
С EnCompass вам больше не нужно вносить эти изменения самостоятельно. Вместо этого, когда EnCompass запускает вашу программу, он автоматически возвращается назад, если LLM допускают ошибки. EnCompass также может создавать клоны среды выполнения программы для выполнения нескольких попыток параллельно в поисках наилучшего решения. В общем, EnCompass просматривает различные возможные пути, по которым может пойти ваш агент в результате различных возможных результатов всех вызовов LLM, ища путь, по которому LLM находит наилучшее решение.
Затем вам останется лишь отметить места, где вы хотите вернуться назад или клонировать среду выполнения программы, а также записать любую информацию, которая может быть полезна для стратегии поиска по различным возможным путям выполнения вашего агента (стратегия поиска). После этого вы можете отдельно указать стратегию поиска — вы можете использовать ту, которая предоставляется EnCompass по умолчанию, или, при желании, реализовать свою собственную стратегию поиска.
«С помощью EnCompass мы отделили стратегию поиска от базового рабочего процесса ИИ-агента», — говорит ведущий автор Чженинг Ли (выпуск 2025 года, магистр технических наук), аспирант Массачусетского технологического института (MIT) по специальности «Электротехника и информатика», исследователь CSAIL и консультант по исследованиям в Asari AI. «Наша платформа позволяет программистам легко экспериментировать с различными стратегиями поиска, чтобы найти ту, которая обеспечивает наилучшую производительность ИИ-агента».
EnCompass использовался для агентов, реализованных в виде программ на Python, которые вызывают LLM-ы, и продемонстрировал заметную экономию кода. EnCompass сократил трудозатраты на реализацию поиска до 80 процентов для различных агентов, например, для агента, занимающегося переводом репозиториев кода и обнаружением правил преобразования цифровых сетей. В будущем EnCompass может позволить агентам решать крупномасштабные задачи, включая управление огромными библиотеками кода, проектирование и проведение научных экспериментов, а также создание чертежей ракет и другого оборудования.
Расширение географии
При программировании агента вы отмечаете определенные операции — например, вызовы LLM — результаты которых могут различаться. Эти аннотации называются «точками ветвления». Если представить вашу программу-агента как генератор одной сюжетной линии истории, то добавление точек ветвления превратит историю в игру «выбери свой путь», где точки ветвления — это места, где сюжет разветвляется на несколько будущих сюжетных линий.
Затем вы можете указать стратегию, которую EnCompass будет использовать для прохождения сюжетной игры в поисках наилучшего возможного финала. Это может включать запуск параллельных потоков выполнения или возвращение к предыдущей точке разветвления, если вы застряли в тупике.
Пользователи также могут использовать несколько распространенных стратегий поиска, предоставляемых EnCompass «из коробки», или определить свою собственную стратегию. Например, можно выбрать поиск по дереву Монте-Карло, который строит дерево поиска, балансируя между исследованием и использованием, или поиск по лучу, который сохраняет несколько лучших результатов на каждом шаге. EnCompass позволяет легко экспериментировать с различными подходами, чтобы найти наилучшую стратегию для максимизации вероятности успешного выполнения задачи.
Эффективность кодирования EnCompass
Насколько же эффективен EnCompass с точки зрения добавления поиска в программы агентов? Согласно результатам исследований, фреймворк значительно сократил объем кода, который программистам необходимо было добавить в свои программы агентов для реализации поиска, помогая им экспериментировать с различными стратегиями, чтобы найти ту, которая работает лучше всего.
Например, исследователи применили EnCompass к агенту, который переводит репозиторий кода с языка программирования Java, широко используемого для программирования приложений и корпоративного программного обеспечения, на Python. Они обнаружили, что реализация поиска с помощью EnCompass — в основном включающая добавление аннотаций точек ветвления и аннотаций, регистрирующих эффективность каждого шага — потребовала на 348 строк кода меньше (примерно на 82 процента), чем реализация вручную. Они также продемонстрировали, как EnCompass позволил им легко опробовать различные стратегии поиска, определив, что лучшей стратегией является двухуровневый алгоритм поиска по лучу, обеспечивший повышение точности на 15–40 процентов в пяти различных репозиториях при бюджете поиска в 16 раз большем, чем количество вызовов LLM, выполняемых агентом без поиска.
«По мере того, как LLM-ы становятся все более неотъемлемой частью повседневного программного обеспечения, все важнее становится понимание того, как эффективно создавать программное обеспечение, которое использует их сильные стороны и обходит их ограничения», — говорит соавтор Армандо Солар-Лезама, профессор кафедры электротехники и информатики Массачусетского технологического института и главный исследователь CSAIL. «EnCompass — важный шаг в этом направлении».
Исследователи добавляют, что EnCompass ориентирован на агентов, где программа определяет этапы высокоуровневого рабочего процесса; текущая версия их структуры менее применима к агентам, полностью управляемым LLM. «В таких агентах вместо программы, определяющей этапы, и последующего использования LLM для их выполнения, LLM сам принимает все решения», — говорит Ли. «Нет базового программного рабочего процесса, поэтому вы можете выполнять поиск во время вывода на основе всего, что LLM изобретает на лету. В этом случае меньше необходимости в таком инструменте, как EnCompass, который изменяет способ выполнения программы с помощью поиска и возврата».
Ли и его коллеги планируют расширить функциональность EnCompass, включив в нее более общие поисковые системы для ИИ-агентов. Они также планируют протестировать свою систему на более сложных задачах, чтобы усовершенствовать ее для реального применения, в том числе в компаниях. Более того, они оценивают, насколько хорошо EnCompass помогает агентам взаимодействовать с людьми при решении таких задач, как мозговой штурм при разработке аппаратных решений или перевод больших библиотек кода. На данный момент EnCompass представляет собой мощный строительный блок, позволяющий людям легче вносить изменения в работу ИИ-агентов, повышая их производительность.
«EnCompass появляется в нужный момент, поскольку агенты, управляемые искусственным интеллектом, и методы поиска начинают менять рабочие процессы в разработке программного обеспечения», — говорит профессор Университета Карнеги-Меллона Имин Ян, не принимавший участия в исследовании. «Четко разделяя программную логику агента от его стратегии поиска на этапе вывода, эта платформа предлагает принципиальный способ изучения того, как структурированный поиск может улучшить генерацию, перевод и анализ кода. Эта абстракция обеспечивает прочную основу для более систематических и надежных подходов к разработке программного обеспечения, основанных на поиске».
Ли и Солар-Лезама написали статью совместно с двумя исследователями из Asari AI: профессором Калифорнийского технологического института Исонгом Юэ, советником компании, и старшим автором Стефаном Чжэном, основателем и генеральным директором компании. Их работа была поддержана Asari AI.
Результаты работы команды были представлены на конференции по системам обработки нейронной информации (NeurIPS) в декабре.
Источник: news.mit.edu
