Чему научили миллиарды прогнозов, сделанных с помощью ИИ, компанию Expedia до появления агентов искусственного интеллекта.

Хави Аматриайн, Expedia Group

Существует важное различие между ИИ, который работает сегодня, и ИИ, который сохраняется в масштабах всей системы. Многие компании усердно оптимизируют свою деятельность в первом случае, даже не задумываясь о том, разрабатывают ли они второй вариант.

Скорость без дисциплины и стратегического направления — это недостаток, а не преимущество. Самая сложная часть создания ИИ в масштабе — это не заставить модель работать один раз. Это создание систем, которые продолжают работать, масштабируются за пределы отдельных команд и сценариев использования и постоянно улучшаются с течением времени.

Современные системы искусственного интеллекта делают больше, чем просто прогнозируют и оптимизируют. Они общаются, рассуждают и все чаще предпринимают действия. Автономная система, принимающая решения от имени путешественника, формирует совершенно иной набор ожиданий в отношении надежности, управления и подотчетности. По мере того, как ИИ берет на себя все больше этих ролей, принципы работы этих систем приобретают все большее значение.

Мы годами применяли искусственный интеллект (ИИ) и машинное обучение (МО) на всех этапах взаимодействия с путешественниками — от персонализации, ранжирования и рекомендаций до предотвращения мошенничества, поддержки клиентов и, совсем недавно, генеративных и агентных ИИ-решений. Именно этот богатый опыт позволил нам разработать набор принципов МО и ИИ, которые определяют то, как мы создаем, внедряем и развиваем системы ИИ в нашей компании.

Цель проста: обеспечить, чтобы создаваемые нами системы создавали реальную коммерческую ценность, масштабировались и работали безопасно. Эти принципы определяют то, как мы измеряем, проектируем, управляем и эксплуатируем наши системы.

От принципов к практике

Опубликовать принципы — это простая часть. Более сложная и важная работа заключается в превращении их в действующие механизмы: рекомендации, требования, инструменты и процессы выпуска, которые команды действительно используют.

Мы начали использовать контрольные точки «Agentic Release»: набор рекомендуемых, а в некоторых случаях и обязательных проверок перед запуском функций ИИ, управляемых агентами. Эти контрольные точки преобразуют такие принципы, как четкое определение ответственности, управление на основе рисков, оценка, безопасное развертывание и мониторинг, в конкретные ожидания для команд.

Некоторые из этих рекомендаций и требований уже автоматизированы и интегрированы в жизненный цикл разработки программного обеспечения (SDLC). Со временем цель состоит в том, чтобы эти ожидания с самого начала стали неотъемлемой частью процесса проектирования, оценки, утверждения, запуска и мониторинга систем искусственного интеллекта.

Результаты: Измерение того, что действительно имеет значение.

Первоочередная проверка любой модели заключается в том, улучшает ли она результаты бизнеса и, в конечном итоге, впечатления путешественников, а не просто улучшает ли она какой-либо технический показатель.

1. Согласуйте модели с метриками, имеющими влияние на бизнес: каждое усилие в области машинного обучения должно быть напрямую связано с ключевым результатом для бизнеса или показателем качества обслуживания путешественников. Технические оптимизации — это полезные промежуточные этапы, а не конечные цели .

2. Оптимизируйте рентабельность инвестиций : ценность, создаваемая моделью, должна оправдывать затраты на разработку, обучение и мониторинг, а также дополнительную операционную сложность. Отдавайте предпочтение решениям, которые обеспечивают долгосрочный эффект относительно затрат на их эксплуатацию.

3. Обосновывайте сложность, опираясь на надежные базовые показатели: сложность должна быть заслуженной, а не предполагаемой. Начните с надежного базового показателя: существующей общей модели, простой эвристики, готового решения. Обращайтесь к специализированным моделям или более сложным архитектурам только тогда, когда более простые варианты действительно не соответствуют требованиям.

4. Необходимо проводить как офлайн, так и онлайн-оценку : ни одна модель не выходит на широкое распространение только на основе офлайн-валидации и не переходит сразу к A/B-тестированию. Каждая модель должна показывать хорошие результаты как в офлайн, так и в онлайн-оценках. Со временем наши офлайн-оценки должны надежно предсказывать то, что мы видим в интернете.

Проектирование: создание систем, масштабируемых за пределы команд, которые их разрабатывают.

Заставить модель работать — это одна задача. Гораздо сложнее сделать так, чтобы её ценность выходила за рамки одной команды или конкретного сценария использования.

1. Опирайтесь на общие основы; специализируйтесь только тогда, когда это оправдано: отдавайте предпочтение общим, общеплатформенным основам для основных возможностей, представления данных и строительных блоков моделей. Специализация должна строиться на этих основах, а не на создании изолированных стеков, чтобы улучшение основы распространялось на всю организацию.

2. Относитесь к данным как к первоклассному продукту : качество модели ограничено качеством данных. Нам необходимо поддерживать надежные конвейеры обработки данных, четкую историю происхождения, воспроизводимость и многократно используемые функции, созданные с документированным владением, четкими схемами и соглашениями об уровне обслуживания (SLA), на которые могут полагаться другие команды.

3. Отдавайте приоритет универсальности, а не локальной оптимизации : если два подхода показывают схожие результаты, отдавайте предпочтение тому, чьи знания, ресурсы и операционные модели могут быть повторно использованы в разных командах, брендах и сценариях применения. Оптимизировать следует не только с точки зрения локальной производительности, но и с точки зрения того, насколько быстро улучшения могут распространиться по всей компании и накапливаться с течением времени.

4. Сведите к минимуму и постепенно отменяйте использование ручных бизнес-правил: ручные правила иногда необходимы для соблюдения политики, безопасности или соответствия требованиям, но они должны быть четко сформулированы и регулярно пересматриваться, никогда не являясь скрытыми исправлениями для слабых моделей или источником постоянной задолженности по техническому обслуживанию.

5. Воспроизводимость и отслеживаемость по умолчанию : обучающие данные, функции, конфигурации, результаты оценки, версии развертывания и ключевые решения должны быть задокументированы и доступны для восстановления. Это позволяет отлаживать проблемы в производственной среде спустя месяцы и передавать ответственность, не теряя накопленных знаний.

Доверие: владение, управление и ответственное функционирование в масштабе предприятия.

Критерием для внедрения ИИ является не просто вопрос «работает ли он?», а вопрос «можем ли мы гарантировать его работоспособность?». Доверие не добавляется в конце; оно зарабатывается со временем и поддерживается на протяжении всего жизненного цикла каждой модели, которую мы выпускаем.

1. Четко определите ответственных лиц и ответственных за результат: каждая модель должна иметь четко определенную структуру собственности на протяжении всего жизненного цикла — владельца бизнеса, владельца продукта, владельца ИИ и владельца операционной деятельности. Не обязательно, чтобы это были четыре человека, но обязанности должны быть четко определены. Кто отвечает за результаты? Кто реагирует, если модель отклоняется от нормы? Кто реагирует на инцидент в 2 часа ночи? Без этого модели остаются без контроля, и возникают проблемы, за которые некому взять на себя ответственность.

2. Соблюдайте стандарты и правила управления: модели ИИ и машинного обучения должны использовать утвержденные платформы и соответствовать установленным стандартам компании, этапам выпуска и процессам управления. Работа вне этих ограничений требует четкого, определенного пути к исправлению или прекращению поддержки, а не неограниченного исключения.

3. Управление должно соответствовать риску : уровень проверки, строгость оценки и человеческий контроль должны масштабироваться в зависимости от влияния модели. Модель, ориентированная на клиента и влияющая на ценообразование или доступность услуг для миллионов путешественников, предъявляет гораздо более высокие требования, чем внутренний инструмент, используемый небольшой командой. Для систем с высоким уровнем воздействия, чувствительных к безопасности или высокоавтономных систем контрольные точки с участием человека закладываются с самого начала.

4. Проектирование с учетом принципов справедливости, конфиденциальности и прозрачности : мы активно проверяем наличие непреднамеренных искажений, используем надежные механизмы защиты данных и отдаем предпочтение объяснимости решений, которые существенно влияют на пользователей. Эти принципы закладываются с самого начала, а не добавляются дополнительно.

5. Проектирование для безопасного развертывания, отката и контроля : развертывание происходит поэтапно, с путями отката, механизмами резервного копирования и автоматическими выключателями, готовыми к запуску. Возможность безопасно отменить развертывание имеет такое же значение, как и возможность его доставки.

6. Непрерывный мониторинг и адаптация: после запуска команды должны активно отслеживать качество, отклонения, задержки, стоимость и эффективность бизнеса, а также переобучать или перекалибровывать модель при изменении данных. Команда всегда должна уметь объяснить, как работает ее модель сейчас, а не только как она работала на момент запуска.

Эти принципы определяют не только то, как мы создаём продукты. Они определяют, что мы готовы выпускать и как мы это поддерживаем. В мире, где системы искусственного интеллекта играют всё более важную роль и принимают реальные решения для реальных путешественников и партнёров, эти стандарты имеют значение. При последовательном применении они позволяют создавать ответственный и долговечный ИИ.

Хави Аматриаин — директор по искусственному интеллекту и обработке данных в Expedia Group.

Ксавье поделится более подробной информацией об архитектуре Expedia во время своего выступления на конференции VB Transform 14 июля в 11:10 утра по тихоокеанскому времени. Он расскажет о: «Плане Expedia по созданию автономных агентов для транзакционных систем с высокими ставками».

Хотите принять участие в VB Transform 2026? Зарегистрируйтесь здесь . Также ограниченное количество бесплатных пропусков доступно для руководителей высшего звена в сфере технологий. Свяжитесь с нами , чтобы получить свой пропуск.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Подпишитесь, чтобы получать самые свежие новости!

Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.

VB Daily AI Weekly Еженедельник AGI Еженедельник по безопасности Еженедельник по инфраструктуре данных Все они

Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.

Источник: venturebeat.com