Как Shopify создала систему искусственного интеллекта, которой всё равно, какие модели выживут
Тарин Пламб
Shopify разработала прокси-сервер LLM, который предоставляет каждому инженеру доступ к нескольким поставщикам ИИ — с автоматическим переключением в случае сбоя, изменения или исчезновения любого из них. Когда Claude Fable 5 перестал работать, инженеры Shopify не запаниковали. Прокси-сервер автоматически переключил их на Claude Opus или GPT 5.5, не прерывая их рабочие процессы. «Fable выглядит потрясающе; мы, конечно же, использовали его», — говорит Фархан Тавар, руководитель отдела разработки Shopify, в новом подкасте VentureBeat Beyond the Pilot. «Когда модель появляется, а затем исчезает, или это может быть что-то безобидное, например, обновление, прокси-сервер позволяет нам распределять запросы между различными поставщиками», — говорит Тавар.
По словам Тавара, Shopify закупает токены оптом, и все пользователи подключаются к моделям через его прокси. Это дает его команде доступ к отчетности и резервному копированию; при возникновении проблем с доступностью одного провайдера пользователи могут быть «автоматически и беспрепятственно» переведены на другого. Предприятия могут извлечь урок из этого примера и подумать, как сбой может повлиять на их бизнес, говорит Тавар. Как минимум, им следует разработать надежный план резервного копирования. Важно иметь систему, которая позволяет перемещаться между моделями, чтобы предприятия не были «слишком привязаны» к конкретному провайдеру. Дистилляция — еще одна важная стратегия. При дистилляции модель-ученик учится у модели-учителя и, как правило, специализируется на более узкой задаче. В некоторых случаях такие небольшие языковые модели (SLM) могут быть более полезны, чем обобщенные готовые модели. Например, флагманский ИИ-помощник Shopify, Sidekick, выполняет множество специализированных подзадач для продавцов, чтобы они могли «избавиться от рутинной работы» в своей повседневной деятельности. Использование более компактных, оптимизированных моделей может быть быстрее и дешевле, чем использование более обобщенных моделей, говорит Тавар. В некоторых случаях они оказывались в 2 раза дешевле и быстрее; в более экстремальных случаях — в 30 раз дешевле и быстрее, говорит он. Но «дело не только в стоимости и задержке, которые имеют большое значение; дело в точности», — говорит Тавар. Инженеры передают в UDP свою модель-учителя, обучающие данные, оценки и целевую модель — например, Opus 4.8, оптимизированную до Qwen 3.5. Конвейер работает около суток, а затем возвращает оценку, показывающую, чего фактически достигла оптимизированная модель по скорости, стоимости и точности для данной подзадачи. Если компромисс выглядит приемлемым, инженер развертывает ее — процесс утверждения не требуется. Внутренняя платформа Shopify, Tangle, позволяет любому визуализировать конвейер во время его работы. Тавар говорит, что его «мечта» — в конечном итоге вообще не задавать целевой модели в конвейер оптимизации. Вместо этого пользователи могли бы предоставлять модели-учителю данные и оценки, а также указание: «Основываясь на ваших знаниях, полученных с течением времени, я хочу, чтобы вы рассмотрели модели другого класса, разных размеров, разных типов, и сказали мне, какой целевой результат является правильным». «Возможно, нас ждет сюрприз. Возможно, это будет настолько маленькая модель, что ее можно будет запустить на телефоне», — говорит Тавар. «В других случаях, возможно, она вернется и скажет: «Нет способа свести это к чему-то лучшему, чем то, что у нас есть на переднем крае».
Переход от «рефлексивности в отношении ИИ» к «использованию возможностей ИИ»
Пользователи Shopify могут использовать любые инструменты, какие им нравятся: Claude Code, Codex, Cursor, GitHub Copilot для VS Code. «Мы знакомим всех с различными инструментами, чтобы они могли понять, что может подойти, а что нет в их рабочем процессе». Но компания также внедрила панель мониторинга использования; это позволяет команде Тавара задавать интересные вопросы не только о расходовании токенов, но и о следующем: кто использует самые дорогие токены? Кто тратит больше времени на анализ? Какие типы моделей используются, и какие дисциплины и уровни? Что касается вопроса «максимизации использования токенов», у Shopify есть «автоматические выключатели». Если у пользователя модель работает долгое время (например, 10 часов) и потребляет много токенов, ему будет отправлено уведомление: «Вы хотели потратить эти токены?» Как объясняет Тавар, иногда ответ: «О, конечно». В других случаях: «Ого, я не знал, что это работает в фоновом режиме». Я совсем забыл об этом. Лучше уж прекратить это сейчас». Конечная цель, как описывает это Тавар, — перейти от «рефлексии в отношении ИИ» к «использованию возможностей ИИ» и заставить людей по-настоящему глубоко задуматься о том, где они могут извлечь наибольшую выгоду из ИИ в своих рабочих процессах. Послушайте полный подкаст, чтобы узнать больше:
-
Философия Shopify заключается в том, чтобы сначала создавать инфраструктуру, а затем уже функциональные возможности. Как говорит Тавар: «Мы всегда строили больше инфраструктуры. И будем продолжать строить больше инфраструктуры».
-
Как внутренний ИИ-агент Shopify, River, создает «информационную основу» для всей компании.
-
Как агент Тавара из OpenClaw выяснил по своему календарю, что тот путешествует, и что этот момент сказал ему о том, куда на самом деле движутся агенты.
Вы также можете слушать и подписываться на Beyond the Pilot на Spotify , Apple или на любой другой платформе, где вы слушаете подкасты.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Оцените материал:
