Стратегия MassMutual в области ИИ: 12-месячные контракты, повышение производительности на 30%, отсутствие обязательств по долгосрочному контракту.

Тарин Пламб

Команды, занимающиеся корпоративным ИИ, сталкиваются с дилеммой: лучшие модели сегодня могут оказаться не лучшими моделями через год. Решение MassMutual заключается в том, чтобы прекратить делать долгосрочные ставки и создать инфраструктуру, которая сможет заменять модели по мере изменения рынка.

«Современный мир искусственного интеллекта чрезвычайно динамичен, — объяснил Сирс Мерритт, директор по информационным технологиям MassMutual, в новом подкасте VB Beyond the Pilot. — Мы хотели убедиться, что готовы оседлать эту волну динамизма».

Похоже, эта стратегия приносит значительные результаты. Компания MassMutual зафиксировала примерно 30-процентное увеличение производительности разработчиков, а рабочие процессы контакт-центров на основе ИИ сократили время решения проблем с 10 минут до одной и снизили затраты в денежном выражении.

Однако более важный урок для ИТ-руководителей может заключаться не столько в результатах, сколько в том, как компания продуманно строит свою инфраструктуру искусственного интеллекта и ставит пользователей в центр внимания.

Сохранение возможности выбора для будущих перспектив

MassMutual сотрудничает с ведущими поставщиками, но поддерживает эти отношения на ограниченном сроке. «Эти отношения ограничены, чтобы мы могли сохранять возможность выбора лучших в своем классе инструментов по мере развития этой области и, в какой-то момент, стабилизировать ситуацию», — сказал Мерритт.

Эта философия распространяется и на модели с открытым исходным кодом. Мерритт говорит, что его команда на 100% рассматривает инструменты с открытым исходным кодом и считает, что эта технология сыграет важную роль в том, как MassMutual (и подобные компании) используют ИИ.

«Нам, безусловно, понадобятся передовые модели и новейшие возможности, чтобы сделать то, что сегодня кажется невозможным, а завтра станет возможным», — сказал он.

Оценка результатов с самого начала.

Усилия MassMutual в области искусственного интеллекта можно разделить на две основные категории.

Первый подход ориентирован на расширение возможностей: предоставление всем сотрудникам инструментов, повышающих производительность, таких как Copilot и виртуальные помощники. Второй подход включает в себя то, что Мерритт описывает как инициативы по «углублению и фокусированию», в рамках которых команды нацелены на конкретный рабочий процесс или бизнес-процесс, который окажет существенное влияние на консультантов, страхователей или сотрудников.

Вместо того чтобы сосредотачиваться на показателях внедрения, эти проекты начинаются с заранее определенных критериев успеха. «Все, что мы делаем, измеряется», — сказал Мерритт. «Мы всегда определяем показатель успеха заранее, чтобы решить, будем ли мы масштабировать те или иные проекты».

Компания также целенаправленно поощряет эксперименты, предоставляя сотрудникам доступ к ряду лучших в своем классе моделей, «рабочих процессов с использованием токенов» и другим возможным возможностям, чтобы они могли оценить преимущества по сравнению с «более простыми и дешевыми» большими языковыми моделями (LLM).

Одновременно с этим MassMutual собирает все более подробные аналитические данные о моделях использования, рабочих процессах разработчиков, производительности моделей и затратах. Цель состоит в том, чтобы сократить расходы, одновременно создавая оперативную аналитику для последующего распределения рабочих нагрузок по подходящей модели на основе стоимости, качества ответа и удобства использования.

Полученные данные в конечном итоге помогут принимать решения по оптимизации маршрутизации моделей, выбора подсказок, времени отклика и проектирования инфраструктуры.

«Мы получаем доступ к аналитике, которая позволяет нам на очень детальном уровне изучать модели использования, рабочие процессы разработчиков и начинать понимать, кто что использует, когда и для каких типов задач», — сказал Мерритт.

Почему MassMutual иногда выбирает более дорогую модель

Еще один интересный аспект подхода MassMutual — это способ оценки качества ИИ. Вместо того чтобы сосредотачиваться исключительно на контрольных показателях или стоимости токенов, компания использует то, что Мерритт называет системой «оценки доверия».

Этот процесс сочетает в себе отзывы пользователей с операционными показателями, чтобы понять, как сотрудники воспринимают ответы, сгенерированные ИИ, и действительно ли эти ответы улучшают результаты.

Перестройка контакт-центра стала проверкой этой системы. В процессе разработки сотрудникам был предоставлен доступ к двум различным модулям LLM. Один генерировал ответы практически в режиме реального времени, но качество было более нестабильным. Другой, более дорогой вариант, требовал на несколько секунд больше времени для ответа, но неизменно обеспечивал более высокое качество ответов.

Согласно общепринятым представлениям и темпам развития бизнеса, пользователи могли бы предпочесть первый вариант; однако подавляющее большинство выбрало качество. Команда Мерритта опросила пользователей о качестве ответов, предпочтительной модели взаимодействия и их общем впечатлении от опыта.

В большинстве случаев пользователи говорили: «Мы хотим более дорогую версию. Мы готовы подождать, но разница в качестве настолько велика, что эти две лишние секунды для нас того стоят».

В конечном итоге именно эта обратная связь определила, какую модель внедрила компания MassMutual.

«Мы учли этот фактор опыта при принятии решения, и это привело нас к выводу, что в относительном выражении затраты несущественны, поэтому мы будем использовать более сложную модель», — сказал Мерритт.

Послушайте полный подкаст, чтобы узнать больше о:

• Почему Mythos «полностью изменил» ландшафт кибербезопасности — не типы угроз, а частоту их появления;

• Как команда инженеров по искусственному интеллекту модернизировала мэйнфрейм MassMutual за 7 дней (процесс, который ранее занимал 3 месяца);

• Почему MassMutual специально избегала использования стратегии «tokenmaxxing» для ограничения использования ИИ и расходов на него, и перешла на «безлимитный» режим, чтобы защититься от резкого роста затрат.

• Как «многоканальная среда» будет поддерживать агентный ИИ.

Вы также можете слушать и подписываться на Beyond the Pilot на Spotify , Apple или на любой другой платформе, где вы слушаете подкасты.

Подпишитесь, чтобы получать самые свежие новости!

Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.

VB Daily AI Weekly Еженедельник AGI Еженедельник по безопасности Еженедельник по инфраструктуре данных Мероприятия VB Все они

Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.

Источник: venturebeat.com