Ваш агент не галлюцинировал; он превысил свои полномочия.

Никсал Патель

Контент-фильтры могут блокировать небезопасный вывод. Однако они не могут определить, имел ли агент право на осуществление возврата средств, вмешательство в производственную систему или принятие компанией внешних мер. Это разные проблемы, и большинство предприятий решают только первую.

Искусственный интеллект может идеально следовать инструкциям и при этом совершить действие, которое компания никогда не одобряла.

В коммерческой среде я наблюдал эту закономерность на практике. Рабочий процесс обслуживания рассчитывает правильную сумму возврата, но не имеет ограничений, предотвращающих предоставление кредитов сверх суммы, утвержденной компанией для самостоятельного действия. Агент по оформлению заказов правильно применяет запрошенное изменение, но упускает из виду условия финансирования или выполнения заказа. Агент по закупкам определяет поставщика с самой низкой ценой, но никто не определил, может ли он принимать условия договора или только рекомендовать этот вариант.

Агент продолжает работать. Проблема может проявиться только после сбоя в нижестоящей системе.

Это не обязательно ошибки в рассуждениях ИИ. Это ошибки в разграничении технических возможностей и полномочий бизнеса.

По мере того, как предприятия переходят от помощников, дающих рекомендации, к агентам, которые вызывают инструменты и запускают рабочие процессы, каждому производственному агенту необходимы четко определенные права принятия решений: что он может выполнять, что требует одобрения, что он может только рекомендовать и к чему он никогда не должен прикасаться.

Ограждения по-прежнему необходимы. Но ограждение — это не модель власти.

Меры безопасности и права принятия решений решают разные проблемы.

Системы искусственного интеллекта первых поколений отсеивают вредоносный контент, защищают конфиденциальную информацию, проверяют правильность ответов и ограничивают поведение инструментов. Эта работа имеет значение.

Права принятия решений отвечают на другой вопрос: даже если действие безопасно и технически допустимо, уполномочен ли данный агент совершать его от имени предприятия?

Этот пробел в управлении становится все труднее игнорировать. В апреле 2026 года опрос Cloud Security Alliance показал, что 65% респондентов сталкивались с инцидентами, связанными с агентами ИИ, в течение предыдущего года, а 82% обнаружили ранее неизвестных агентов, работающих в их средах. В опросе приняли участие 418 ИТ-специалистов и специалистов по безопасности, а спонсором выступила компания Token Security.

Полученные результаты показывают, как быстро активность агентов может превзойти возможности обеспечения прозрачности и контроля, созданные для традиционного программного обеспечения.

В руководстве Всемирного экономического форума от мая 2026 года отражен этот сдвиг. В нем представлен профиль возможностей и авторизации агента, призванный сделать делегированные действия подлежащими аудиту, принудительному исполнению и подотчетности.

Ограничения сдерживают поведение. Права на принятие решений определяют легитимность власти.

Предоставьте каждому производственному агенту договор о полномочиях.

Прежде чем агент получит доступ к корпоративным инструментам, ему необходима машиночитаемая запись, точно определяющая, какие полномочия компания решила делегировать. Назовем это контрактом на полномочия агента .

Как минимум, этот контракт должен отвечать на семь вопросов:

1. Кому принадлежит результат? Назовите роль человека или компании, а не другой системы.

2. Что может делать агент? Читать, рекомендовать, писать или совершать?

3. К каким системам и данным оно может получить доступ?

4. Какие ограничения по существенности применяются? Определите пороговые значения в долларах, количество записей, охват клиентов и влияние на операционную деятельность.

5. Что провоцирует эскалацию? Неопределенность, аномалия, конфиденциальные данные или потенциальные последствия?

6. Можно ли отменить это действие, и кто может это сделать?

7. Когда истекает срок действия полномочий и как они отзываются?

Контроль доступа определяет, может ли агент получить доступ к системе. Контракт полномочий определяет, может ли он предпринять конкретное действие в текущем контексте.

Это не одна и та же проверка.

В обновленной сингапурской модели управления искусственным интеллектом для агентного ИИ проводится аналогичное разграничение. Она рассматривает контроль доступа, поведенческие ограничения и утверждения со стороны человека как отдельные элементы управления и связывает требования к надзору с объемом действий, их обратимостью и потенциальным воздействием.

Каждое последующее действие следует свести к четырем результатам.

Рабочая модель прав принятия решений должна сопоставлять каждое последующее действие агента с одним из четырех результатов.

Позволять

Действия с низким уровнем риска, ограниченные по времени и обратимые, выполняются автономно.

Примерами могут служить получение утвержденной информации, классификация входящего запроса или обновление несущественного поля. Агент действует без предварительного согласования, поскольку потенциальные последствия ограничены, и действие может быть отменено.

Утвердить

Агент подготавливает или инициирует действие, но его выполнение ожидает разрешения от человека или детерминированной службы управления.

В эту категорию входят платежи, изменения в производстве и действия, которые существенно затрагивают клиента, сотрудника или третье лицо.

Рекомендовать

Агент анализирует, ранжирует, составляет проекты или предлагает варианты. Окончательное решение принимает конкретный человек.

Используйте этот результат, когда важна оценка контекста или когда юридические, финансовые или индивидуальные последствия делают автоматическое исполнение неприемлемым.

Отрицать

Данное действие остается вне полномочий агента, независимо от уровня его уверенности.

Удаление важных производственных данных, принятие окончательного решения о приеме на работу или игнорирование обязательного контроля за соблюдением требований должны оставаться в категории «Запрещено», даже если первоначальные рассуждения агента кажутся верными.

Один момент постоянно упускается из виду: запрет должен применяться вне системной подсказки.

Инструкция на естественном языке, предписывающая агенту не делать чего-либо, не является техническим ограничением. Это всего лишь рекомендация.

Принимайте решения о полномочиях во время выполнения.

Статическая конфигурация не может охватить все ситуации.

Небольшой кредит за обслуживание может быть предоставлен в обычных условиях, но требует одобрения, если сумма превышает определенный порог, если счет находится на рассмотрении или если запрос касается регулируемого клиента.

Практическая последовательность выполнения выглядит следующим образом:

1. Агент предлагает действие.

2. Уровень политики оценивает личность агента, делегированного принципала, запрашиваемый инструмент, задействованные данные, контекст транзакции и потенциальное воздействие.

3. Политика возвращает значения «Разрешить», «Одобрить», «Рекомендовать» или «Отклонить».

4. Система регистрирует решение органа власти, последующие действия и результат.

5. Оперативная телеметрия расширяет, сужает или отзывает полномочия агента с течением времени.

В корпоративной коммерции самая опасная ошибка ИИ — это не всегда ложный ответ. Это может быть технически правильное действие, которое агент не должен был совершать.

Возврат средств может быть обоснованным, но превышать установленный лимит. Изменение заказа может соответствовать запросу клиента, но аннулировать условие финансирования. Обещание доставки может отражать наличие товара на складе, игнорируя при этом ограничения перевозчика, введенные часом ранее.

Возможно, агент не допустил ошибки в рассуждениях. Предприятие не определило, где заканчиваются его полномочия.

Контроль со стороны человека должен быть направлен на исключения, а не на всё подряд.

Требование одобрения каждого действия агента человеком выглядит консервативным подходом. Однако в больших масштабах это может быстро перерасти в формальное утверждение.

Когда рецензенты утверждают тысячи рутинных действий, внимание снижается, и выявить подлинные исключения становится сложнее. В сингапурской системе признается, что непрерывный человеческий контроль за каждым рабочим процессом агента становится непрактичным в больших масштабах, и рекомендуется устанавливать значимые контрольные точки для действий с высоким риском или необратимых действий.

Модель пропорционального распределения полномочий является более работоспособной.

Действия с низким уровнем риска выполняются в узких рамках. Действия с высоким уровнем риска или необратимые действия требуют одобрения. Непредвиденное поведение приводит к эскалации. Любое последующее действие без определенной политики авторизации по умолчанию отклоняется.

Цель состоит не в максимальной автономии. Речь идёт о наивысшем уровне автономии, который предприятие может соблюдать, контролировать и ответственно изменять.

Оцените, насколько точно выверен авторитет.

После запуска агентов в производство точность ответов становится слишком узким показателем успеха.

Предприятиям также следует отслеживать:

• Частота отмены решений: Как часто люди отклоняют или существенно изменяют решение агента?

• Точность эскалации: выявляет ли агент действительно рискованные случаи или возвращает рутинную работу сотрудникам?

• Несанкционированные попытки действий: Как часто агент пытается выйти за рамки своей системы, данных или области действия?

• Частота ошибок, оказывающих существенное влияние на бизнес: как часто санкционированные действия приводят к финансовым, нормативным, операционным или клиентским проблемам?

• Задержка принятия решений: Являются ли требования к утверждению инструментом управления рисками или же они замедляют автоматизацию, которая и без того была безопасной?

Эти меры превращают власть в управляемую переменную, определяющую ход событий.

Стабильно надежная работа может оправдать расширение ограниченных полномочий. Частые случаи отмены решений, сбои при эскалации или нарушения политики должны сузить их.

Проблема недостаточного управления не заложена в модели.

Безопасность модели, контроль выходных данных и безопасное использование инструментов — все это имеет значение. Предприятиям следует продолжать инвестировать в них.

Однако ни один из этих механизмов контроля не может ответить на вопрос, кто делегировал полномочия, сколько было передано, при каких условиях это применяется или кому принадлежит результат, если что-то пойдет не так.

Договор о полномочиях агента может…

Прежде чем задаваться вопросом о том, насколько автономным может стать агент ИИ, более полезным будет вопрос: что именно предприятие готово делегировать, и как это делегирование будет обеспечиваться, контролироваться и отзываться?

Демонстрация агента работает. Теперь это уже не самая сложная часть.

Никсал Патель — руководитель продуктового направления. Выраженные здесь взгляды являются его собственными.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Источник: venturebeat.com