В сфере корпоративного ИИ наступает период, когда оценка возможностей систем становится невозможной: агенты приобретают автономность быстрее, чем компании успевают проверять их работоспособность.

Карл Франзен

Команды разработчиков корпоративного ИИ предоставляют агентам больше свободы в тот самый момент, когда их уверенность в автоматизированном тестировании рушится.

Согласно опросу VB Pulse, проведенному в июне 2026 года среди 157 квалифицированных респондентов из компаний со штатом 100 и более сотрудников, половина предприятий внедрила функции ИИ-агента или LLM, которые прошли внутреннюю оценку, но все же привели к сбоям в работе с клиентами — каждая четвертая компания делала это более одного раза.

Выборка является самоотборной, а не вероятностной, поэтому полученные результаты следует рассматривать как направленные, а не точные.

Однако предприятия не реагируют на это замедлением автоматизации: 66% респондентов уже разрешают развертывание некоторых производственных систем без участия человека или разрабатывают системы, предназначенные для этого в течение следующих 12 месяцев. Только 5% заявляют, что полностью доверяют автоматизированным оценкам, которые принимают решения о выпуске.

Это несоответствие и есть разрыв в оценке: потолок автономности растет быстрее, чем уровень гарантий, находящихся под ним.

Это также соответствует более широкой концепции, которая будет рассмотрена на конференции VB Transform 2026: предприятия сначала внедряют агенты, а уровни управления идентификацией, оценкой, стоимостью, контекстом и оркестровкой появляются позже. Следующий год станет циклом модернизации, когда покупатели перераспределят бюджет в сторону систем, которые сделают развертывание агентов управляемым и надежным.

Почему проходной балл не является эффективным инструментом

Традиционное тестирование программного обеспечения обычно проверяет, приводит ли заданный входной параметр к ожидаемому результату. Тестирование агентов сложнее, поскольку система может выбирать собственную последовательность шагов, вызывать инструменты, получать данные, изменять состояние и реагировать по-разному от одного запуска к другому.

Агент может принять несколько правдоподобных решений и все равно прийти к неверному результату. Он может получить правильную учетную запись, но обновить неправильное поле. Он может составить действительный запрос на возврат средств, но отправить его без одобрения. Он может успешно использовать пять инструментов, прежде чем шестой шаг приведет к утечке конфиденциальной информации или оставит рабочий процесс незавершенным.

Опрос показывает, что предприятия уже осознают это ограничение. Наиболее распространенной причиной недоверия к автоматизированной оценке является плохое соответствие результатам в реальных условиях, на что указали 29% респондентов. За ней следуют предвзятость или несоответствие (21%), отсутствие объяснимости (18%) и утечка данных или опасения по поводу конфиденциальности (17%).

Эта иерархия имеет значение. Предприятия заявляют, что оценка часто не предсказывает, что произойдет, когда клиент, сотрудник или бизнес-процесс столкнутся с агентом в рабочей среде — дело не в том, что автоматизированная оценка слишком медленная или дорогая.

В своем профиле генеративного ИИ NIST высказывает аналогичную точку зрения: измерения, собранные в контролируемых условиях, могут некорректно переноситься на развертывание, поскольку поведение меняется в зависимости от подсказок, пользователей, контекста и условий эксплуатации. В рекомендациях NIST содержится призыв к проведению полевых испытаний, мониторингу после развертывания и четким процедурам эскалации сбоев.

VB Transform · 14–15 июля · Менло-Парк · Магистратура по управлению проектами, операционная деятельность и оценка

Стандартные тесты не срабатывают. Amazon и Waymo объясняют, что они тестируют вместо этого.

В рамках оценочного раздела подробно рассматриваются четыре измерения надежности — согласованность, устойчивость, предсказуемость, безопасность — и то, как команды Amazon и Waymo внедряют их в производственную практику.

Ознакомиться с полной программой →

Способность — это не последовательность.

Один успешный запуск доказывает, что агент способен выполнить задачу. Но это не доказывает, что он выполнит задачу надежно.

В рекомендациях Anthropic по оценке агентов различают измерение того, удается ли системе хотя бы один раз добиться успеха при повторных попытках, и измерение того, удается ли ей это каждый раз. Это различие имеет важное значение для рабочих процессов, ориентированных на клиента или операционных процессов. Модель, которая иногда выдает отличный ответ, может быть неприемлемой, если та же задача непредсказуемо терпит неудачу при следующей попытке.

Поэтому корпоративным командам следует рассматривать повторяемость как первостепенный показатель. Это означает многократное выполнение одного и того же сценария, изменение формулировок и контекста, тестирование отказов инструментов и измерение того, остается ли конечный результат бизнес-процесса правильным даже при изменении маршрута.

Набор оценочных тестов также должен развиваться. Каждый производственный инцидент должен стать постоянным регрессионным тестом. Обращения клиентов, неудачные вызовы инструментов, некорректные подтверждения и ошибки обработки данных должны передаваться в набор тестов перед развертыванием, а не оставаться изолированными случаями поддержки.

Автономия должна расширяться за счет риска, а не за счет амбиций.

Данное исследование не подразумевает, что каждое действие агента должно требовать участия человека. Человеческий контроль не может быть масштабирован для миллионов решений с незначительными последствиями.

Однако полная независимость от человеческого фактора должна быть достигнута благодаря доказанной надежности и ограничена последствиями отказа.

Действия с низким уровнем риска, такие как составление внутренних сводок или классификация документов, могут допускать более широкую автономию. Финансовые транзакции, общение с клиентами, развертывание кода, изменения в управлении доступом и удаление данных требуют более строгих пороговых значений, многократных проверок на согласованность, проверок политик, механизмов отката и четких путей эскалации проблем человеком.

Риск распределяется неравномерно в зависимости от размера компании. Крупные предприятия — с численностью сотрудников 2500 и более человек — быстрее всех переходят к развертыванию без участия человека: 70% против 64% у небольших компаний, и при этом они чаще отправляют агентов, которые впоследствии подводят клиентов: 54% против 48%.

Это предупреждение для руководителей предприятий. Исключение человека из процесса не устраняет неопределенность. Без более надежных гарантий это превращает неопределенность в автоматизированное производственное решение.

Рынок будет и дальше стремиться к большей автономии, потому что экономический стимул реален. Наилучшие позиции займут не те организации, которые быстрее всего сокращают штат сотрудников, а те, которые относятся к повторяемости и регрессионному тестированию так же серьезно, как и к скорости внедрения.

Источник: venturebeat.com