Реальный риск для корпоративного ИИ заключается не в автономных агентах, а в сложности взаимодействия между ними.

Рори Бланделл, Gravitee

Представлено компанией Gravitee

Сложность работы агентов — это коварная тень, таящаяся сейчас внутри предприятий, и на нее необходимо пролить свет.

Это происходит потому, что предприятия не развертывают одного агента и не наблюдают за его работой, а развертывают целые группы агентов, каждый из которых вызывает API, обращается к другим агентам, проникает в приложения, которые изначально не разрабатывались с учетом машинного принятия решений. Именно такой сбой должен не давать вам спать по ночам: запутанная, сложная система, которую никто не может достаточно четко разглядеть, чтобы ею управлять. Но почему все так быстро становится таким непрозрачным?

Добавьте второго агента в систему, и вы добавите одно соединение. Добавьте десятого, и вы добавите не десять соединений, а потенциально десятки, потому что теперь любой агент может позвонить любому другому, и каждый из этих звонков может инициировать звонок где-то ещё. Сложность не увеличивается с количеством агентов. Она возрастает с количеством путей между агентами, и никто не обязан строить этот график. Заявка в службу поддержки, которая раньше проходила через одну систему, теперь может пройти через четыре агента, прежде чем её увидит человек, и каждая из этих передач — это точка принятия решения, которую никто не утверждал.

Большинство корпоративных программ искусственного интеллекта заходят в тупик, когда люди, ответственные за их агентов, теряют связь с системой. Задайте команде безопасности простой вопрос: какие агенты могут получить доступ к каким системам, и вы увидите тишину. Спросите, какой агент запустил какое последующее действие три шага назад. И снова тишина.

Инстинктивно кажется, что нужно воспринимать это как контрольный список. Одобрить агента. Зарегистрировать агента. Идем дальше. Я бы сказал, что это неправильный инстинкт. Контрольный список проверяет только один момент времени. Сложность пронизывает всю цепочку, и вы не можете управлять цепочкой с помощью множества разовых одобрений, так же как вы не можете назвать диету успешной только потому, что однажды съели овощ.

Так где же на самом деле происходит сбой?

Сначала появляются проблемы с правами доступа. Кто-то создает агента для обработки заявок в службу поддержки, предоставляет ему широкий доступ к API, потому что для его правильного определения потребовался бы еще один спринт, и забывает об этом. Шесть месяцев спустя у того же агента появляется доступ к платежной системе. Никто не помнит, что давал на это разрешение. Никто.

Чем дальше идет цепочка, тем меньше ответственности за нее остается. Пять агентов участвуют в одном рабочем процессе, что-то ломается на четвертом шаге, и теперь вы спрашиваете, кто отвечает за звено, за которое никто никогда не был назначен, потому что организационная структура остановилась на этапе «развернуть агента» и так и не дошла до этапа «назначить ответственного за это человека».

Это история об инфраструктуре управления , которая не успевает за реальным поведением субъектов: взаимосвязанных, каскадных, размножающихся быстрее, чем создаются процессы для их отслеживания.

Решение проблем кластера начинается с идентификации. Каждый агент должен существовать как самостоятельная сущность, а не как теневое разрешение, заимствованное у того, кто его развернул. У него должно быть собственное имя в реестре. Собственные полномочия. Именованный человек-куратор, который отвечает за его действия. Эта часть необходима.

Но этого далеко недостаточно.

Самая сложная задача — это контроль, охватывающий всю цепочку, а не только каждое отдельное звено. Необходимо видеть, что сделал агент, какие последствия это повлекло за собой и где этот след заканчивается, в режиме реального времени, а не в отчете, который кто-то составляет раз в квартал. Если на этом остановиться и правильно определить личность агента, то в итоге вы получите картотеку, полную идеально задокументированных агентов, работающих в системе, которую никто не может объяснить.

Сам по себе надзор лишь показывает, что уже произошло. Наблюдение за цепочкой — это не то же самое, что её контроль. Большинство программ упускают из виду обеспечение соблюдения правил: возможность остановить звонок, нарушающий политику, до его выполнения, а не просто зафиксировать его, чтобы кто-то обнаружил его при проверке через три недели. Панель мониторинга, показывающая, что агент нарушил свои правила пять минут назад, — это инструмент мониторинга. Система, предотвращающая нарушение с самого начала, — это управление. Предприятиям, серьезно относящимся к подотчетности агентов , необходимы оба подхода, и большинство из них создали только первый.

Мы все мчимся с бешеной скоростью, чтобы не отстать в гонке, в которой оказались, и прекрасно понимаем, что замедление темпа имеет свою цену. Каждое предприятие, серьезно занимающееся агентным ИИ, рано или поздно сталкивается с проблемой сложности. Преодолеть ее удается тем, кто обеспечил достаточную прозрачность и подотчетность, чтобы их парк систем мог продолжать расти, не теряя при этом возможности ответить на один вопрос: что делает эта система прямо сейчас и кто за нее отвечает.

Но не упускайте из виду главное. Сложность — не повод тормозить. Предприятия, которые правильно подходят к этому вопросу, не сбавляют темп. Они стремятся к гармонии между человеком и агентом, где масштаб и ответственность растут вместе, а не противоречат друг другу.

Реальная опасность заключалась не в одном агенте, выполняющем именно то, для чего он был создан. Риск заключался в сотне таких агентов, выполняющих именно это, одновременно, взаимодействуя в комбинациях, для которых никто не был разработан. Именно такое размножение заставляет корпоративный ИИ вечно зацикливаться на пилотных проектах вместо того, чтобы управлять производством.

Если решать сложные задачи, автономия перестаёт быть проблемой. Она становится смыслом всей работы.

Рори Бланделл — генеральный директор компании Gravitee.

Спонсорские статьи — это контент, созданный компанией, которая либо оплачивает публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко обозначены. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com .

Источник: venturebeat.com