Компания Brex разработала свою политику в отношении ИИ-агентов, наблюдая за тем, что агенты делают на самом деле, а не разрабатывая правила с самого начала.

Тарин Пламб

OpenClaw стал одним из наиболее широко используемых фреймворков для управления агентами, но ему еще предстоит доказать свою эффективность в масштабах предприятия. Агентам для эффективной работы необходимы реальные учетные данные — ключи API, токены OAuth, сервисные учетные записи, — и Brex обнаружил, что традиционные механизмы защиты не могут контролировать действия агентов с этими данными.

Компания Brex поставила перед собой задачу преодолеть эти ограничения, создав внутреннюю платформу под названием CrabTrap. Этот прокси-сервер с открытым исходным кодом для HTTP/HTTPS перехватывает весь сетевой трафик, анализирует правила политики и использует LLM в качестве судьи для принятия решения о том, следует ли одобрять или отклонять запросы агентов.

«Мы заметили, что сетевой уровень представляет собой неиспользованный потенциал для обеспечения соблюдения правил», — сказал соучредитель и генеральный директор Brex Педро Франчески в интервью VentureBeat. «Каждый запрос, поступающий от агента, — это возможность перехватить его, проанализировать и принять соответствующее решение».

Главный вывод, который, по мнению Франчески, должны сделать ИТ-руководители: управление агентами должно сместиться от разрешений на уровне SDK и ограничений модели к централизованной плоскости управления сетью, которая обеспечивает соблюдение правил и обучается на основе реального поведения агентов в реальных условиях.

Как Brex повлиял на транспортный уровень

«Очевидным решением» (по крайней мере, на начальном этапе) проблемы безопасности агентов были ограничительные механизмы, и большая часть первоначальной работы была сосредоточена на инструментах с ограниченной областью действия, разрешениях для каждого действия и подтверждении действий человеком. Но по мере развития агентов каждая новая функция означает необходимость настройки или проверки еще одного API, отметил Франчески.

«Любая агентная система с множеством инструментов и доступом к открытому интернету сразу же создает для разработчиков проблему: чем больше возможностей вы делаете у агента, тем опаснее он становится, и чем безопаснее вы его делаете, тем менее полезным он становится», — сказал он.

Существующие решения этой проблемы были «слабыми»: детализированные токены API помогают лишь в незначительной степени, но всё ещё могут быть использованы не по назначению и ограничивать функциональность. Семантические ограничения (такие как контекст, навыки или управление подсказками) легко обходятся внедрением подсказок, особенно для агентов, подключенных к интернету.

Франчески отметил, что агенты могут быть «обезврежены», если им предоставить доступ только для чтения или ограниченный набор инструментов, но тогда они не смогут выполнять значимую работу. С другой стороны, предоставление широкого доступа на запись и большого набора инструментов может привести к иллюзиям и реальным последствиям для производства.

Шлюзы протокола контекста модели (MCP) обеспечивают соблюдение политик на уровне протокола — но только для трафика, использующего MCP. В то же время, ограничения от поставщиков LLM привязаны к одной модели и могут быть «непрозрачными» для настройки с помощью политик, специфичных для предприятия. А мощные инструменты, такие как Nvidia OpenShell, предлагают более детальный «контроль исходящего трафика для каждой песочницы».

«Когда мы начинали, у нас не было решения для безопасного развертывания таких систем, как OpenClaw, — сказал Франчески. — Вместо того чтобы ждать, пока отрасль догонит нас, мы решили взять проблему в свои руки и изобрести необходимые инструменты».

В частности, им нужна была платформа, которая служила бы посредником между каждым агентом и каждым запросом к сети и могла бы принимать «тонкие решения о том, что разрешить», — сказал он.

По его словам, это сделало транспортный слой ключевым архитектурным компонентом и естественной отправной точкой.

Благодаря работе на этом уровне, CrabTrap не зависит от фреймворка, языка программирования и API. Он не требует SDK-оберток или интеграции для каждого инструмента. Пользователи устанавливают HTTP_PROXY и HTTPS_PROXY в среде агента, и каждый исходящий запрос проходит через прокси-сервер, прежде чем достигнет пункта назначения.

Однако, как подчеркнул Франчески, Brex начал с транспортного уровня не потому, что считал это единственным решением; скорее, они верят в «многоуровневую безопасность».

«Транспортный сектор был просто недостаточно обеспечен инвестициями, и мы увидели возможность усилить контроль за его соблюдением наряду со всем остальным», — сказал он.

Программа подготовки судей на основе степени магистра права

Франчески пояснил, что CrabTrap сочетает детерминированные статические правила с LLM-функцией, выступающей в роли судьи для запросов, выходящих за рамки известных шаблонов. Судья «срабатывает только на длинный хвост незнакомых конечных точек или необычных форм запросов», что для зрелого агента обычно составляет менее 3% запросов.

Более насущной проблемой было то, как убедиться в правильности той или иной политики? При наличии статических правил рассуждения о точности «относительно просты». Но в случае с судьей с магистерской степенью система является недетерминированной, и пользователям необходима уверенность в том, что политика одобряет правильные запросы и блокирует остальные.

«Наша главная идея заключалась в том, чтобы разрабатывать политику, основываясь на наблюдаемом поведении, а не писать ее с нуля», — сказал Франчески. Начало с анализа реального поведения и последующая корректировка на основе полученных в реальных условиях знаний оказались «значительно эффективнее, чем начинать с чистого листа».

Команда Brex разработала конструктор политик (сам по себе представляющий собой агентный цикл), который запускает базовых агентов в теневом режиме, анализирует исторический сетевой трафик, отбирает примеры типичных звонков и формирует политику на естественном языке, соответствующую фактическим действиям агента.

Затем они разработали систему оценки, которая проверяет изменения в политике до их вступления в силу. CrabTrap сравнивает исторические записи аудита с проектом политики и сообщает, какие именно изменения необходимо внести. Пользователи могут фильтровать результаты по методу, URL-адресу, первоначальному решению и статусу соглашения.

Всё это работает с одновременным вызовом судей, поэтому воспроизведение тысяч запросов «занимает минуты, а не часы», — сказал Франчески. Brex также разработал систему обратной связи в реальном времени: полные журналы аудита хранятся в PostgreSQL и доступны для запросов через административный API и панель управления. В случаях, когда доступ к ресурсу постоянно отклоняется, система может уведомить человека или агента о необходимости предложить обновление политики для проверки.

«Это замыкает цикл между наблюдаемыми отказами и совершенствованием политики», — сказал Франчески.

Основные проблемы и препятствия

Конечно, разработка не обошлась без трудностей. Одной из главных была задержка: «Размещение LLM между агентом и каждым исходящим API-запросом, похоже, приведет к полной остановке работы», — сказал он.

Однако это оказалось не такой уж большой проблемой, как ожидалось. Это объясняется двумя причинами: во-первых, судья LLM активируется лишь при небольшой доле запросов (упомянутые выше 3%). Агенты быстро привыкают к предсказуемым моделям трафика; после того, как такие модели были обнаружены, правила для обработки больших объемов трафика становятся статическими. Во-вторых, использование небольших, быстрых моделей, таких как Claude Haiku, означало, что даже когда судья срабатывал, дополнительная задержка была «незначительной». Франчески отметил, что это можно еще больше уменьшить с помощью локальных моделей и оперативного кэширования.

По его словам, более сложной и менее очевидной задачей была быстрая инъекция. Судья получает полный HTTP-запрос, и все содержимое контролируется пользователем, поэтому потенциально специально созданный URL-адрес, заголовок или тело запроса могут повлиять на решение судьи.

По словам Франчески, компания Brex решила эту проблему, структурировав запрос в виде объекта JSON перед отправкой его в модель, благодаря чему весь контент, управляемый пользователем, «экранируется, а не интерполируется как необработанный текст».

Результаты и перспективы развития CrabTrap

Компания Brex отслеживает несколько факторов для оценки внутреннего влияния CrabTrap: вовлеченность агентов, характер сетевого трафика и индекс лояльности клиентов (NPS). По словам Франчески, наиболее значимым результатом работы CrabTrap стало «укрепление доверия к организации».

Ранее команда испытывала «серьезные сомнения» по поводу широкого внедрения автономных агентов в различные бизнес-процессы, поскольку существующие механизмы защиты не обеспечивали достаточной гарантии.

«CrabTrap изменил эти расчеты», — сказал Франчески. Теперь у них есть надежный уровень контроля, что повышает уверенность в расширении развертывания агентов на большее количество подразделений компании и делегировании пользователям большей части задач по настройке и управлению агентами.

Франчески охарактеризовал политики, разработанные на основе трафика, как «удивительно эффективные». Команда ожидала, что конструктор политик создаст «приблизительную отправную точку», требующую значительной ручной доработки. Однако на практике, направив платформу на данные о реальном трафике за несколько дней, мы получили политики, которые соответствовали человеческому мнению в отношении «подавляющего большинства запросов, которые были отклонены».

Кроме того, CrabTrap показал, сколько шума генерируют агенты. «Журнал аудита впервые это продемонстрировал», — сказал Франчески. Они использовали журналы отказов и анализ трафика не только для настройки политик, но и для повышения эффективности работы самих агентов, удаления вспомогательных инструментов и исключения целых категорий запросов, которые отнимали время и токены.

«Прокси-сервер стал инструментом обнаружения, а не просто средством принудительного исполнения», — сказал он.

Области для развития (и предложения от сообщества разработчиков открытого программного обеспечения)

Компания Brex ожидает, что CrabTrap продолжит развиваться, особенно с учетом того, что он выпущен как программное обеспечение с открытым исходным кодом. «Мы надеемся, что сообщество поможет нам в его формировании», — сказал Франчески.

К областям, требующим улучшения, относятся более глубокая функциональность аутентификации, такая как единый вход (SSO), детальное управление доступом на основе ролей (RBAC); рабочие процессы эскалации, позволяющие агентам запрашивать дополнительные разрешения; и рекомендации по политикам на основе шаблонов отказов.

По словам Франчески, программная настройка, или разработка API-интерфейсов для «создания, форка и применения» политик к агентам, может позволить автоматизировать весь жизненный цикл политик, вместо того чтобы управлять им вручную.

Что касается эскалации, то если агенту постоянно отказывают в доступе к определенному ресурсу или конечной точке, он должен иметь возможность перенаправлять запросы людям или другим агентам ИИ для проверки и обосновывать необходимость доступа.

«Это превращает CrabTrap из системы жесткого контроля в нечто большее, чем просто систему управляемых разрешений», — сказал Франчески.

Кроме того, политика была разработана для запуска на основе сетевого трафика, но есть возможность включить дополнительные сигналы, касающиеся трассировки агентов и обращения к ресурсам, а также более широкий контекст того, чего в конечном итоге пытаются достичь агенты. Это может помочь создать более точные и тонкие политики.

Наконец, остается «открытый философский вопрос» о правильной позиции CrabTrap: должен ли он быть полностью прозрачным слоем, о существовании которого сам агент не знает, или же он должен функционировать скорее как «менеджер с благими намерениями»? (то есть агент знает о слое и может взаимодействовать с ним).

По словам Франчески, сообщество разработчиков открытого исходного кода может помочь сформировать эти разработки, и CrabTrap будет только улучшаться с увеличением числа пользователей. Агенты Brex взаимодействуют с определенным набором API; команды, использующие CrabTrap с различными агентами, сервисами и требованиями к политикам, будут выявлять «крайние случаи и закономерности, с которыми мы не можем справиться в одиночку».

«У нас амбициозные планы относительно дальнейшего развития проекта, и мы предпочитаем строить на открытом пространстве», — сказал Франчески.

Чему другие строители могут научиться у CrabTrap?

Отклик оказался сильнее, чем ожидалось. У CrabTrap более 700 звезд на GitHub. Франчески сказал, что Brex также получил сообщения от OpenAI, генерального директора Y Combinator Гарри Тана и программиста Пита Штайнбергера, все они выразили заинтересованность во внедрении аналогичной внутренней инфраструктуры.

Главный вывод: «Не позволяйте пробелам в инфраструктуре стать оправданием для ожидания», — посоветовал Франчески. Для каждого предприятия, стремящегося всерьез внедрить агентов ИИ, существуют «реальные препятствия», включая проблемы безопасности, недостаток инструментов или нечеткие механизмы защиты.

«Возникает соблазн сидеть сложа руки, пока отрасль не догонит конкурентов», — сказал он. «Урок, извлеченный из CrabTrap, заключается в том, что вы можете напрямую взять на себя решение этих проблем».

Источник: venturebeat.com