Компания Morgan Stanley сократила вдвое объем самой рискованной операции по сверке данных, снизив самостоятельность своих агентов.
Тарин Пламб
Большинство внедрений ИИ в корпоративной среде до сих пор были сосредоточены на помощниках-программистах и ботах для обслуживания клиентов. Morgan Stanley же внедрил агентов в один из самых важных с точки зрения точности и сжатых сроков рабочих процессов в банковской сфере — сверку отчетов о прибылях и убытках — и сократил объем работы вдвое. Неожиданным является то, что этого удалось достичь за счет снижения автономности системы, а не повышения.
Люди постоянно находятся в центре событий, и их решения итеративно преобразуются в повторяющиеся правила, которые система может применять самостоятельно.
«Это скорее коллега, чем второй пилот», — сказал управляющий директор Morgan Stanley Тодд Джонсон на недавнем мероприятии VB AI Impact. Внутренняя система управления производственными процессами, известная как FIXR, выходит за рамки простых и прямолинейных задач «генерируемого ИИ 1.0». «Мы считаем, что именно здесь кроется возможность действительно раскрыть потенциал более сложных задач в организации».
FIXR за кулисами
Каждый торговый день торговые подразделения Morgan Stanley выполняют важную работу, связанную с такими операциями, как инвестиции в акции или долговые ценные бумаги.
И в конце каждого из этих дней контролерам необходимо сверить отчет о прибылях и убытках по всем системам финансового, риск-менеджмента, операционного и торгового учета финансового гиганта. Все эти данные должны быть объединены, и, что, возможно, неудивительно, сотни тысяч атрибутов часто не совпадают.
Как правило, это означает, что диспетчеры должны вручную проверять каждое несоответствие (или «сбой»), принимать решения о корректировках, а затем, в идеале, утверждать результат до того, как номер поступит на стол. И всё это в условиях жесткого утреннего дедлайна.
Раньше на обработку одной книги могло уйти до шести часов. Теперь же FIXR выполняет эту задачу за два-три часа, — сказал Джонсон. В общей сложности, благодаря примерно 100 диспетчерам, выполняющим эту работу, это позволяет сэкономить около 1500 часов в неделю.
После завершения ночных расчетов прибыли и убытков система автоматически анализирует «сбои» и предлагает решения на основе изученных правил. Несколько агентов работают вместе:
-
Для разработки планов на начало дня необходимо интерпретировать ранее данные рекомендации.
-
Учиться на поведении контроллера и документировать применяемые им правила.
-
Повторяющиеся шаблоны преобразуются в устойчивую, автоматизированную логику.
Со временем система может автоматически устранять некоторые ранее обнаруженные сбои, предлагать решения для других, менее знакомых ей задач, запрашивать помощь в случае неуверенности и помечать проблемы для проверки человеком. Когда проблемы решаются одним и тем же методом неоднократно, система может выработать четкие правила.
Важно отметить, что люди не покидают цикл, а остаются в нем полностью, сказал он. Они проверяют, одобряют или исправляют каждую рекомендацию, а затем передают эти решения для улучшения следующего запуска. Агент ежедневно учится у контроллеров тому, что он делает правильно, а что неправильно, и кодифицирует эти знания по мере итераций.
«Даже при автоматизации сохраняется элемент человеческой ответственности, — сказал Джонсон. — Со временем вы увидите, как все больше и больше подобных задач решается автоматически».
Он подчеркнул, что для автономности требуется большой уровень доверия; предприятия не увидят повышения эффективности, если каждый будет проверять каждое действие агента.
Обратная связь между человеком и агентом имела решающее значение для решения задачи контролируемой, измеримой и воспроизводимой автоматизации. «Мы понимали, что весь тот интеллект, который хранится в голове диспетчера, будет сложно передать агенту в первый же день», — сказал Джонсон.
Основное внимание уделяется процессу и расширяемости.
По словам Джонсона, крайне важно сначала наладить процессы, прежде чем привлекать ИИ. Его команда провела «очень тщательную» оценку бизнес-процессов, в ходе которой были составлены карты и проанализированы рабочие процессы, чтобы определить, где автоматизация будет наиболее выгодной: решение ли это — агенты, традиционная автоматизация или простая перестройка неэффективного этапа?
«Если мы сможем сначала решить эту проблему, прежде чем добавлять к ней новых участников, тогда мы действительно преобразуем открывающиеся возможности», — сказал он.
По его словам, процесс утверждения отчета о прибылях и убытках был полон ручных операций, которые можно автоматизировать, и передача части этих трудоемких задач на выполнение агентам освобождает контролеров для «более ценного анализа» и «более глубокого анализа рисков».
Однако расширяемость была не менее важна, чем экономия времени. Команда Джонсона выбрала именно этот вариант использования для сверки прибылей и убытков, потому что сотни контролеров выполняли эту работу по всему миру (в Северной и Южной Америке, Европе и Азии).
Итак, начнем с конкретного примера использования, докажем его эффективность, расширим его применение, «а затем, в конечном итоге, трансформация произойдет по мере того, как мы будем все шире внедрять это во всей организации», — сказал Джонсон.
Детерминированный по замыслу
Джонсон сказал, что команда также намеренно ограничила зависимость рабочего процесса от суждений модели. «Если у вас есть возможность сделать все очень четко регламентированным и повторяемым, это дешевле с точки зрения потребления токенов, это более воспроизводимо с точки зрения контроля — и позволить LLM выполнять те задачи, где вам не нужен такой детерминированный рабочий процесс», — сказал он.
По мере того, как система получает все больше обратной связи от контроллера по определенному типу разрыва, Morgan Stanley преобразует этот шаблон в фиксированное правило, вместо того чтобы оставлять это на усмотрение модели.
Поведение по-прежнему принадлежит людям.
Интересный (и, возможно, фундаментальный) вопрос, возникающий на заре эры агентских систем, звучит так: агенты — это код или цифровые сотрудники?
Джонсон утверждает, что «вероятно, это и то, и другое в некоторой степени», и поэтому требуют тонкого подхода к управлению и надзору. Технические команды по-прежнему должны нести ответственность за поддержание средств защиты и механизмов контроля, таких как брандмауэры или шифрование, например.
Но вокруг «элемента производительности» появилась новая динамика: люди, использующие агентов, несут за них ответственность, поскольку это помогает им в работе. Например, если старший контролер работает с младшим контролером, они не просто отказываются от ответственности, потому что кто-то им помогает, отметил Джонсон.
«Один из наших главных принципов в управлении ИИ в целом заключается в том, что всегда должна быть ответственность человека, даже если присутствует определенная степень автоматизации», — сказал он.
Но, как правило, нет «одного единственного человека», и процесс в конечном итоге непрерывен. В связи с этим Джонсон пошутил, что одна из «удручающих» особенностей агентного ИИ заключается в том, что он потребует постоянного обучения, поскольку модели постоянно меняются.
«Вы никогда не сможете сказать: „Мы провели всю необходимую оценку и тестирование. Давайте просто оставим это“. Вам придется постоянно отслеживать ситуацию по мере ее развития с течением времени».
Morgan Stanley нацелен на решение реальных проблем предприятий.
Опыт Morgan Stanley отражает закономерности, выявленные VentureBeat в сфере внедрения ИИ в корпоративных системах.
В недавнем опросе VentureBeat VB Pulse почти три четверти респондентов сообщили о незначительной или нулевой окупаемости инвестиций от тонкой настройки пользовательских моделей, описав «кладбище песочницы» из проектов в области ИИ, которые оказались слишком дорогостоящими в обслуживании. Это говорит о том, что подход Morgan Stanley, основанный на процессе и концепции «покупка и интеграция», может быть более устойчивым, чем погоня за индивидуальными моделями. В опросе приняли участие 87 респондентов, и полученные результаты следует рассматривать как ориентировочные.
Еще одной распространенной проблемой стало управление: 38% респондентов назвали отсутствие единого ответственного лица самым большим препятствием для внедрения ИИ в производство, при этом только две из 87 опрошенных компаний имели активную систему мониторинга и оповещения для выявления сбоев в моделях.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Оцените материал:
