Почему Capital One построила свою многоагентную платформу искусственного интеллекта на основе моделей с открытым весом

Персонал VB

Представлено компанией Capital One.

На конференции VB Transform 2026 Кел Вани, MVP в области машинного обучения в Capital One, поговорил с Сэмом Виттевеном, старшим технологическим обозревателем VentureBeat, о том, как банк построил масштабируемую многоагентную архитектуру ИИ на основе глубоко кастомизированных моделей с открытыми весами, вместо того чтобы полагаться на готовую базовую модель.

«В Capital One мы не просто используем ИИ, мы его создаём», — сказал Вани.

Основа была заложена много лет назад благодаря первым инвестициям Capital One в преобразование данных и внедрение облачных технологий, которые, по словам Вани, стали основополагающими для быстрого продвижения с приходом нынешней волны ИИ. Эта техническая база позволила компании принять ряд обдуманных архитектурных решений, включая создание централизованной корпоративной платформы ИИ со встроенным управлением, глубокую настройку открытых моделей с использованием собственных данных и разработку собственной системы оркестрации для нескольких агентов.

Настройка моделей с открытыми весами с использованием собственных данных.

Вместо того чтобы полагаться исключительно на стандартные модели оценки перспективности, Capital One дорабатывает модели определения открытого веса, используя свои обширные собственные данные.

«Мы рассматриваем наши данные как огромное преимущество, чего нет ни у кого другого, чего не могут обеспечить стандартные модели. Поэтому мы берем эти данные и глубоко адаптируем наши модели», — пояснил Вани. Он добавил, что данные в режиме реального времени абсолютно необходимы для получения актуальной информации во время взаимодействия с клиентами или сотрудниками.

Вани также выявил неожиданное преимущество этого подхода: возможность его расширения в масштабах всего предприятия.

«По мере того, как мы адаптируем эти модели с открытым исходным кодом под конкретный сценарий использования, мы видим преимущества для всего нашего портфеля», — отметил он. «Мы обучаем эту модель быть экспертом в сценариях использования Capital One, политике и терминологии. В процессе этого обучения мы видим общее улучшение».

Внутри многоагентного рабочего процесса искусственного интеллекта Capital One

В качестве примера такого подхода Вани привела систему обработки звонков в службу поддержки клиентов по вопросам банковского мошенничества, которая обрабатывает миллионы звонков в год, при этом время взаимодействия варьируется от примерно четырех минут до шестидесяти минут, и первоначальная попытка использовать одну большую языковую модель оказалась недостаточной. В многоагентной системе обработки звонков Capital One (MACAW) взаимодействие направляется через специализированных агентов со встроенными механизмами управления и ограничениями.

«Рабочий процесс MACAW состоит из нескольких разных агентов, — сказал он. — Первый — это агент, отвечающий за понимание. Его задача — проанализировать то, что говорит клиент, и попытаться понять его намерения».

Затем агенту, отвечающему за рассуждения, даются несколько конкретных инструкций для создания резюме; агент проверки достоверности проверяет резюме на соответствие фактам; а агент объяснения преобразует резюме в отформатированный документ со всеми необходимыми деталями, который затем передается другим агентам.

В контексте потребительского банковского обслуживания этот рабочий процесс помогает нескольким сотням операторов службы поддержки клиентов, специализирующихся на сложных случаях мошенничества. Создаваемые им сводки после звонка помогают документировать длительные диалоги, которые ранее операторам приходилось восстанавливать вручную.

Многоагентная архитектура Capital One также лежит в основе Chat Concierge, интерактивного помощника по автоматическому совершению покупок, который дополнительно использует версию модели Llama от Meta, адаптированную под собственные данные Capital One. В ней используется то же разделение труда: один агент общается с клиентом, другой разрабатывает план действий на основе бизнес-правил, третий оценивает точность, а четвертый объясняет и подтверждает результат.

Оптимизация задержки и стоимости с помощью системы агентных исследований.

Помимо решений для взаимодействия с клиентами, Capital One также использует агентный ИИ для автоматизации рутинных задач для своих сотрудников и помогает им сосредоточиться на наиболее важных аспектах своей работы. В качестве примера компания разработала автономное решение для оптимизации работы серверной инфраструктуры.

Вани объяснила, что в мире LLM, где каждый день появляются новые оптимизации, не все они дополняют друг друга. Сочетание двух удачных оптимизаций иногда может привести к снижению производительности.

«Эта агентная система будет перемещаться по пространству поиска, разработанному исследователем, обрабатывать все механические аспекты настройки и проведения эксперимента, а затем предоставлять исследователю полное резюме результатов», — сказал Вани.

Вани добавил, что система позволяет исследователям «найти последовательность оптимизаций и конфигураций, которые действительно обеспечат [им] максимально возможную задержку».

Что дальше: маршрутизация на основе моделей и проактивный, событийно-ориентированный ИИ.

В перспективе Вани видит одну из главных тенденций — уровни абстракции маршрутизации, которые платформа стремится проверить на нескольких моделях, как с точки зрения стоимости, так и точности.

«Мы считаем, что можно добиться большей точности, чем у любой отдельной модели, просто используя более широкий набор доступных моделей, поскольку разные модели будут превосходить другие в разных областях», — сказал он.

Его второе предсказание касалось перехода к системам, которые действуют, не дожидаясь запроса, при этом он также подчеркнул, что внедрение таких проактивных агентов потребует тщательного тестирования и мониторинга.

«Я думаю, что в будущем наибольшей популярностью будет пользоваться более проактивный и событийно-ориентированный ИИ», — сказал Вани. Вместо того чтобы ждать подсказки от человека, ИИ будет вмешиваться, как только обнаружит условия, требующие принятия мер.

«Это позволит усилить мониторинг и расширить его масштабы, а также даст нам больше возможностей в борьбе с мошенничеством и использовании этих возможностей», — сказала Вани. «Поэтому проактивный ИИ станет действительно важной тенденцией».

Стимулирование непрерывных инноваций в сфере искусственного интеллекта в финансовых услугах.

Подход Capital One подчеркивает более широкую истину для руководителей корпоративных технологических подразделений: для получения измеримой ценности с помощью ИИ необходимо выйти за рамки готового программного обеспечения и перейти к глубоко кастомизированным, строго управляемым архитектурам. Объединив тонко настроенные модели с открытыми весами, систему оркестровки многоагентных систем и собственные массивы данных, банк разработал повторяемую модель развертывания масштабируемого ИИ в сфере финансовых услуг.

«Все эти составляющие были абсолютно необходимы для того, чтобы выделиться в этой сфере и соответствовать установленным нами стандартам качества, а также пороговым значениям стоимости и задержки», — сказал Вани.

По мере расширения этих возможностей на новые сценарии использования, подход компании к корпоративной платформе помогает гарантировать, что технические прорывы преобразуются в более безопасный, быстрый и персонализированный опыт для миллионов ее клиентов.

Спонсорские статьи — это контент, созданный компанией, которая либо оплачивает публикацию, либо имеет деловые отношения с VentureBeat, и они всегда четко обозначены. Для получения дополнительной информации обращайтесь по адресу sales@venturebeat.com .

Источник: venturebeat.com