Искусственный интеллект вступает в эру восстановления, поскольку предприятия сталкиваются с проблемой надежности.

Персонал VB

По мере внедрения корпоративных ИИ-агентов в производство организации сталкиваются с растущей проблемой надежности. Многие команды обнаруживают, что производительность LLM сама по себе не определяет успешность работы агентов в производственной среде. Длительно работающие рабочие процессы ИИ должны выдерживать сбои, сохранять состояние, восстанавливаться после ошибок, управлять затратами на вывод и координировать действия между API, инструментами и корпоративными системами.

После первой волны, ориентированной на быстрое развертывание, организациям теперь необходимо пересмотреть эти реализации первого поколения и перепроектировать ранние архитектуры агентов с учетом оркестрации рабочих процессов, наблюдаемости, управления и восстановления, заявила Прити Сомал, старший вице-президент по разработке в Temporal Technologies, во время последнего мероприятия серии AI Impact Series в Нью-Йорке.

«К нам обращается много клиентов, которые создают вторую версию того же самого агента», — сказал Сомал. «Им нужно было действовать очень быстро, но они не позаботились о сантехнике. В итоге все рушится, и им приходится заново строить, опираясь на надежный фундамент».

Для компании Temporal, занимающейся оркестрацией рабочих процессов и чья инфраструктура существовала еще до нынешней волны агентного ИИ, этот сдвиг отражает более широкое понимание в масштабах всего предприятия: производственные системы ИИ требуют надежного выполнения, управления состоянием, прозрачности рабочих процессов и механизмов восстановления в случае сбоев моделей или нижестоящих систем.

Агентный ИИ значительно упростил решение привычных инженерных задач.

«Эти закономерности не обязательно новы, — сказал Сомал. — Искусственный интеллект просто значительно их усиливает».

Агентные системы вносят дополнительную сложность, поскольку часто включают в себя длительные многоэтапные процессы, охватывающие множество сервисов, моделей, API и инструментов. Один рабочий процесс может вызывать несколько больших языковых моделей, получать доступ к системам поиска информации, запускать внешние приложения и управлять состоянием в течение нескольких часов или дней. По словам Сомала, инженерные вопросы часто возникают только после развертывания.

«Люди пишут коды агентов, но не задумываются о том, что произойдет, если агент выйдет из строя», — сказала она. «Придется ли мне запускать весь процесс работы агента заново?»

Для предприятий, работающих в условиях ограниченных средств, ответ имеет значение. Перезапуск рабочих процессов после сбоев может многократно увеличить затраты на обработку данных, повысить задержку и ухудшить качество обслуживания клиентов.

Сомал сравнил нынешнюю ситуацию с более ранним периодом внедрения корпоративных облачных технологий, когда организации сразу переходили к миграции рабочих нагрузок, не задумываясь о необходимости перепроектирования базовой архитектуры для обеспечения долгосрочной устойчивости этих нагрузок.

«Эта спешка с внедрением ИИ в мире, где вы даже не модернизировали свои приложения, немного напоминает мне тот хаотичный перенос технологий в облако», — сказала она. «Все поняли, что тратят больше денег на облако, а отдачи от этого не получают».

Почему долго работающие агенты вынуждают к созданию новой архитектуры

В корпоративных рабочих процессах все чаще используются агенты, выполняющие задачи в течение длительных промежутков времени, иногда занимающих много часов, одновременно взаимодействуя с инструментами и системами. Проблемы с надежностью усугубляются, когда рабочие процессы длятся долгое время, и это влияет как на состояние, так и на память — два понятия, которые часто рассматриваются как взаимозаменяемые в дискуссиях об искусственном интеллекте.

Состояние касается выполнения рабочего процесса. Оно включает в себя информацию о том, где находится агент в процессе, какие действия уже выполнены и где следует возобновить восстановление после сбоя. Память или контекст фиксируют информацию, которую агент переносит между взаимодействиями или задачами.

«Состояние агента зависит от того, какой шаг и какие действия были выполнены, и если что-то пошло не так, то с какого момента нужно восстанавливаться, а не от контекста и памяти», — объяснил Сомал.

Это различие становится все более важным, когда предприятия начинают выходить за рамки простого взаимодействия с чат-ботами и переходить к более длительным бизнес-процессам. Сомал привел пример из сферы здравоохранения, связанный с клиентом Abridge, где рабочие процессы обрабатывают визиты к врачу на нескольких этапах, включая обработку аудио, суммирование, вызовы моделей и генерацию информации после визита.

«Этот процесс состоит не из одного элемента, — сказал Сомал. — Запись видео и их обработка, составление резюме, звонки магистрам права, подготовка итогового отчета — все это скоординировано».

Для предприятий это означает, что успешные участники рынка все больше зависят от систем, способных выдерживать сбои, координировать работу различных служб и поддерживать непрерывность деятельности во времени.

Возникновение детерминированного позвоночника

По словам Сомала, полезной основой для проектирования корпоративного ИИ является детерминированная структура, именно так они понимают роль Temporal.

«Это указывает путь, по которому вы хотите идти, — сказала она. — Это сигнал для мозга, но если мозг не реагирует, он позовет его снова. Если мозг реагирует, но следующий шаг обречен на неудачу, он продолжит с того места, где произошла эта неудача».

В этой концепции языковая модель выступает в роли вероятностной системы, производящей переменные выходные данные, в то время как программное обеспечение оркестровки обеспечивает надежность выполнения вокруг нее. И эта концепция важна, потому что корпоративные системы все чаще требуют согласованности, даже когда модели остаются недетерминированными. Процесс закупок, сводка медицинских данных, эскалация обращения в службу поддержки клиентов или процесс соблюдения нормативных требований не могут просто молча завершиться с ошибкой из-за истечения времени ожидания вызова модели или сбоя внешней зависимости.

«Больше всего вас волнует возможность восстановления и то, чтобы в случае возникновения проблем вам не пришлось платить символический налог», — сказал Сомал.

Надежность, прозрачность и экономика расходования токенов

По мере того, как руководители предприятий оценивают рентабельность инвестиций в ИИ, прозрачность затрат становится все более важной проблемой. Длительно работающие агенты часто совершают множество вызовов моделей в рамках сложных рабочих процессов, что может создавать непрозрачные схемы расходов. Сомал описал одно из операционных преимуществ оркестровки как прозрачность в отношении того, где накапливаются затраты. Поскольку рабочие процессы наблюдаются шаг за шагом, команды могут видеть, где расходуются токены в процессе работы агента.

«У вас есть возможность отслеживать весь этот процесс в одном окне», — сказала она. «Теперь вы можете видеть, куда тратятся токены в процессе обработки запроса, который включает в себя несколько этапов и обращение к различным системам».

Восстановление рабочих процессов также влияет на экономическую эффективность. Без надежной оркестровки сбой на поздней стадии может вынудить организации перезапустить весь процесс с самого начала, включая все предыдущие вызовы модели. Сомал отметил, что системы, разработанные с учетом возможности восстановления, могут возобновить выполнение с момента прерывания.

«Вы продолжаете работу с того места, где произошла авария», — сказала она. «Мы избавляем вас от необходимости запускать агента с самого начала».

Предприятиям необходимо прокладывать пути и привлекать экспертов-партнеров.

По мере распространения агентного ИИ, еще одной набирающей популярность тенденцией становятся проблемы управления. Вместо повсеместного внедрения полностью управляемых агентных систем, по словам Сомала, предприятия все чаще стремятся к стандартизированным внутренним структурам, которые обеспечивают механизмы контроля, сохраняя при этом гибкость, и внедряют необходимые функции, такие как механизмы управления, политики выбора моделей, системы идентификации, управление затратами и наблюдаемость.

«Предприятия рассматривают возможность строительства этих мощеных дорожек, — сказала она. — Возможно, готовые решения не подойдут, потому что существует множество других требований».

По мере того, как организации пересматривают развертывания первого поколения, подобные проблемы все чаще выглядят не как проблемы моделирования, а как проблемы системной инженерии. Компания Temporal может помочь предприятиям сделать этот следующий шаг, отчасти потому, что для многих организаций это уже существовало как часть более широких программ модернизации до того, как ИИ стал стратегическим приоритетом.

«Temporal уже используется в корпоративной среде, — сказал Сомал. — Взять его за основу и распространить на платформы искусственного интеллекта и агентов кажется вполне естественным».

Подпишитесь, чтобы получать самые свежие новости!

Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.

VB Daily AI Weekly Еженедельник AGI Еженедельник по безопасности Еженедельник по инфраструктуре данных Мероприятия VB Все они

Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.

Источник: venturebeat.com