Предприятия, добивающиеся успеха с помощью ИИ-агентов, ограничивают возможности этих агентов в самостоятельном выполнении задач.

Мидхула Мариям Дживан

В течение последних двух лет преобладало мнение, что в корпоративном ИИ большая автономия означает лучшую производительность. Нужно создавать агентов, способных планировать, принимать решения и действовать в рамках многоэтапных рабочих процессов, и предоставлять им как можно больше свободы действий. Сейчас это предположение проверяется в масштабах реальных производственных сред — и во многих случаях оно оказывается несостоятельным. Компании, которые в конечном итоге выиграют от агентного ИИ, не обязательно будут теми, кто предоставил своим агентам наибольшую гибкость. Это будут те, кто создаст агентов ИИ с конкретными обязанностями и обеспечит их работу в рамках четких правил.

Практически все о состоянии агентного ИИ в середине 2026 года говорят две цифры. По прогнозу Gartner, более 40% проектов по агентному ИИ, реализуемых сегодня, не доживут до 2028 года . Не потому, что модели не соответствуют требованиям, а из-за растущих затрат, неясной коммерческой ценности и неадекватного контроля рисков. Опрос McKinsey о зрелости доверия к ИИ в 2026 году полностью подтверждает этот прогноз: внедрение агентного ИИ ускоряется во всех отраслях, но средний уровень зрелости ответственного ИИ составляет всего 2,3 из 4. Только около 30% организаций достигли уровня зрелости три или выше в области управления и контроля агентного ИИ.

Поставьте эти два числа рядом, и история расскажет сама за себя. Возможности опережают контроль.

Этот сдвиг меняет и конкурентную среду. В 2024-2025 годах борьба велась за то, кто быстрее развернет наибольшее количество автономных агентов. В 2026-2027 годах это будет гонка за доверие.

Речь идёт не о том, кто сможет создать наиболее функционального агента. Речь идёт о том, кто сможет добиться одобрения агента для использования в производственной среде от отделов управления рисками, юридического отдела и отдела соответствия нормативным требованиям, а также сохранить это одобрение после запуска. Это совершенно иная инженерная задача, к решению которой большинство предприятий не готовы.

Почему полная автономия терпит неудачу в производстве

Gartner описывает типичную и повторяющуюся схему сбоев. Проекты запускаются с амбициозными, в значительной степени автономными рабочими процессами. В течение нескольких недель они сталкиваются со сложностью интеграции. Затем они замирают, не имея четкого пути к окупаемости инвестиций в производство. Частично проблема заключается в шумихе вокруг поставщиков. Собственные подсчеты Gartner это наглядно демонстрируют: из тысяч продуктов, продаваемых под названием «агентный ИИ», только около 130 действительно обладают автономными возможностями. Остальные — это в основном автоматизация или чат-боты, временно переупакованные.

Но даже в действительно агентных системах возникает структурная проблема, не имеющая ничего общего с ажиотажем. Автономия и подотчетность движутся в противоположных направлениях.

Агент, способный самостоятельно планировать и выполнять многоэтапную задачу, также является агентом, чьи индивидуальные решения становится сложнее отследить постфактум. Допустим, что-то разбивается на несколько этапов в автономной цепочке. Выяснить, почему агент принял такое решение и кто за это ответственен, может быть сложным процессом, а не простым поиском.

В таких областях, как финансовая сверка, процессы соблюдения нормативных требований, контроль качества производства или клиническая документация, такое отсутствие прозрачности может стать разницей между управляемой ошибкой и серьезным нарушением нормативных требований. Именно поэтому юридические, риск-менеджментные и комплаенс-отделы блокируют запуск агентных проектов в производство, независимо от того, насколько эффективна базовая модель.

Сложность интеграции постоянно оказывается одной из главных причин отмены проектов. Внедрение автономного агента в устаревший рабочий процесс требует не только технических связей. Существующие точки принятия решений, цепочки согласования и журналы аудита рабочего процесса необходимо перестроить под систему, которая теперь может действовать без участия человека. Предприятия, которые рассматривают это как чисто интеграционную проблему, решаемую дополнительными инженерными усилиями, как правило, заходят в тупик.

Это не гипотетический риск. Исследование McKinsey показывает, насколько уязвимо большинство предприятий в настоящее время. Практически во всех категориях рисков, связанных с ИИ, от конфиденциальности данных до защиты интеллектуальной собственности, разрыв между рисками, о которых организации заявляют, что знают, и рисками, которые они фактически минимизируют, остается значительным.

Осведомленность превзошла действия. Этот разрыв отражается в отчетах компаний, которые называют его препятствием для дальнейшего масштабирования агентного ИИ. Почти две трети из них теперь заявляют, что наибольшую проблему для них представляют вопросы безопасности и рисков, превосходящие неопределенность регулирования и технические барьеры.

Как на самом деле выглядит управляемая оркестровка

Предприятия, занимающие лидирующие позиции, не прекращают свои планы по внедрению ИИ. Они перестраивают систему распределения автономии внутри системы. Четыре модели, характерные для организаций со зрелым управлением, следующие:

• Отдавайте предпочтение агентам узкого профиля, а не агентам общего назначения. Разбейте сквозные рабочие процессы на агентов с одной обязанностью и жестко ограниченными полномочиями. Меньший объем работы приводит к меньшему объему сбоев, а меньший объем сбоев гораздо проще проверить.

• Контрольные точки, устанавливаемые человеком на границах принятия решений, — до результата, а не после него. Необходимо проверять решения агентов до выполнения важных действий, а не после их совершения. Это означает контрольные точки до перемещения конфиденциальных данных, публикации транзакции или запуска внешней системы. Концепция McKinsey предполагает мониторинг в реальном времени на основе данных, встроенный в сам конвейер обработки данных агента, при этом окончательная ответственность за важные решения остается за людьми.

• Отслеживаемость решений как обязательное требование к проектированию. Полный журнал действий и история принятия решений должны быть доступны по запросу для любого агента и для любого решения. Не должно быть необходимости восстанавливать их под давлением во время аудита. Регуляторы настаивают на том же. Требования Закона ЕС об ИИ, касающиеся человеческого контроля над системами высокого риска, все еще вступают в силу, несмотря на то, что соглашение Digital Omnibus этого года перенесло крайний срок соблюдения требований на декабрь 2027 года. Предприятия, разрабатывающие агентные системы, фактически движутся к выполнению этого требования, независимо от того, является ли оно технически уже обязательным к исполнению.

• Суверенитет данных предполагает активное управление, а не пассивную бумажную работу. Место хранения данных агента и то, кто имеет к ним доступ, определяют степень локализации сбоя. Развертывание на локальных серверах или в контролируемой среде ограничивает масштабы последствий некорректной работы агента и упрощает именно тот вид аудиторского следа, который начинают ожидать регулирующие органы и советы директоров.

Риск, конечно, существует в обе стороны. Агентный ИИ призван уменьшить трение. Агент, которому требуется одобрение человека для каждой незначительной задачи, ничего не уменьшает; это просто автоматизация, замаскированная под ручной процесс. Это незаметно подрывает всю целесообразность создания такого агента. Цель не в максимальном контроле. Цель — калиброванный контроль, сконцентрированный там, где цена ошибки действительно высока.

Развертывание агентов масштабируется примерно в 8 раз быстрее, чем повышается уровень зрелости системы управления.

Практическая модель для оценки вашего набора агентов.

Если архитекторы предприятия анализируют существующий агент для развертывания или рассматривают возможность развертывания агента, они могут начать с того, что зададут себе четыре вопроса.

1. Сможете ли вы через шесть месяцев точно восстановить, почему конкретный агент предпринял конкретное действие? Если для получения честного ответа потребуется анализ необработанных логов или догадки, то отслеживание происхождения решений не является частью конструкции системы. Это второстепенный аспект. И это выявится как пробел при следующей проверке.

2. Каждый ли агент в стеке имеет одну четко ограниченную ответственность, или хотя бы один агент уполномочен «разобраться» в рамках широкой задачи? Широкие, нечеткие указания — это именно то место, где возникают ошибки и решения, которые невозможно отследить.

3. Размещаются ли контрольные точки с участием человека на определенных границах принятия решений или только в качестве окончательной проверки после того, как субъект уже совершил действие? Проверка постфактум выявляет последствия. Контрольная точка до совершения действия предотвращает их.

4. Если бы агент был скомпрометирован или вышел из строя прямо сейчас, какой объем данных и к скольким нижестоящим системам он мог бы получить доступ, прежде чем кто-либо это заметил бы? Именно здесь суверенитет данных и ограничение доступа перестают быть просто пунктами соблюдения нормативных требований и начинают функционировать как стратегия сдерживания.

Все эти вопросы не должны замедлять внедрение агентного ИИ. Необходимо определить, как и где автономия приносит пользу организации и как обеспечить ее доступность. Это предполагает построение уровня оркестрации на основе этого разделения, а не добавление управления после инцидента в производственной среде, который поставит этот вопрос на повестку дня.

Реальное конкурентное преимущество

Прогноз Gartner о 40% отмен контрактов — это не столько предупреждение о возможностях ИИ, сколько прогноз об организационной дисциплине. Сейчас, по определению Gartner, агентный ИИ находится на « пике завышенных ожиданий », и этому есть довольно простое объяснение. В 2024 и 2025 годах предприятия почти полностью оптимизировали свою деятельность в направлении автономности. Теперь они погашают накопившийся за этот подход долг в области управления.

К 2027 году победа достанется не тому, кто быстрее развернет наибольшее количество автономных агентов, а тому, кто создаст достаточно надежные системы агентов, благодаря которым команды по управлению рисками, соблюдению нормативных требований и юридические отделы перестанут быть узким местом. Архитектура ответила на их вопросы еще до того, как кому-либо пришлось их задать.

Это совершенно иная задача проектирования, нежели та, на основе которой разрабатывалось большинство планов развития агентного ИИ. Речь идёт о том, чтобы с самого начала сделать ограниченную автономность, принятие решений на контрольных точках, полную отслеживаемость и суверенитет данных неотъемлемой частью архитектуры, а не дополнительными элементами после успешного пилотного проекта.

Мидхула Мариам Дживан — автор контента, специализирующийся на искусственном интеллекте, корпоративных технологиях, разработке программного обеспечения и SEO.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Источник: venturebeat.com