Предприятия переплачивают за простые запросы к ИИ — шлюз Snowflake теперь автоматически настраивает маршрутизацию, что позволяет сократить расходы до 3 раз.

Шон Майкл Кернер

В крупных корпоративных командах, использующих ИИ-агентов в больших масштабах, обнаруживается, что одна модель плохо справляется со всеми задачами — либо она слишком затратна для простых вопросов, либо недостаточно эффективна для сложных. Решением этой проблемы становится маршрутизация моделей, которая автоматически выбирает подходящую модель для каждой задачи.

Теперь шлюз искусственного интеллекта Cortex AI Gateway от Snowflake предлагает динамическую маршрутизацию моделей для решения этой проблемы: предприятия могут выбрать «автоматический» режим вместо фиксированной модели, и система будет направлять каждую задачу к той модели, которая предлагает наилучшее сочетание качества и стоимости. Snowflake заявила, что эта возможность может снизить стоимость токенов в 3 раза для некоторых рабочих нагрузок — это данные собственных внутренних тестов компании — после того, как выяснилось, что простые вопросы часто обрабатывались самой мощной моделью, что делало ответы более дорогими и медленными, чем необходимо.

Этот шаг предпринят на фоне более широкого отраслевого сдвига в сторону автоматизированной маршрутизации моделей. Databricks, AWS, Google Cloud и Nvidia уже анонсировали ту или иную технологию маршрутизации моделей. Snowflake утверждает, что маршрутизация моделей — это более сложный процесс, чем просто цена и производительность; он также включает в себя управление и контекст.

«Для создания высококачественных агентов корпоративного уровня крайне важно правильно определить контекст и обеспечить управление», — сказал VentureBeat Барис Гюльтекин, вице-президент по ИИ в Snowflake. «Контекст, доверие и выбор модели — все это взаимосвязано».

Два механизма определяют, куда будет направлена задача.

Эта функция основана на Cortex AI Gateway, который Snowflake запустила в июле 2026 года в качестве уровня управления трафиком агентов и моделей. До появления динамической маршрутизации выбор модели осуществлялся на основе статического списка для каждой задачи, а не с помощью полноценной системы резервного копирования, сказал Гюльтекин.

По словам Гюльтекина, динамическая маршрутизация работает на основе двух механизмов.

Сначала пытается выполнить задачу небольшая модель. В соответствии с тем, что Snowflake называет паттерном «советник», меньшая модель сначала пытается выполнить задачу. Если ей не удается завершить работу, она вызывает более крупную модель в качестве инструмента и продолжает с нее.

Один классификатор сортирует запросы по истории их выполнения. Другой классификатор, обученный на прошлых запросах, автоматически направляет простые вопросы к более простым моделям.

Клиенты по-прежнему могут закреплять модель. Автоматическая маршрутизация является необязательной. Клиенты могут ограничить маршрутизацию одной моделью или определенным набором моделей, и система будет прокладывать маршрут только в пределах этих границ.

Отдельная плата не взимается. Snowflake устанавливает цены на ИИ исключительно на основе использования токенов. Перенаправление на более дешевую модель приводит к снижению затрат, при этом за само решение о маршрутизации дополнительная плата не взимается.

Контроль доступа осуществляется в соответствии с поставленной задачей, а не только с данными.

Snowflake привязывает маршрутизацию к тем же средствам контроля доступа, которые уже используются для управления данными.

Управление начинается на уровне данных с контроля доступа на основе ролей. Затем оно распространяется на модели, где роли клиентов сопоставляются с группами утвержденных моделей. И снова оно распространяется на агентов, где агенту могут быть предоставлены более узкие привилегии, чем пользователю, который его вызывает.

Открытые модели могут работать из собственного региона клиента, чтобы удовлетворить требованиям к размещению данных. Гюльтекин сказал, что все вычисления, как открытые, так и проприетарные, остаются внутри зоны безопасности Snowflake, а не перенаправляются к внешнему поставщику. Такая региональная и периметровая настройка особенно важна для открытых моделей, разработанных за пределами США, включая DeepSeek-V4-Flash и GLM-5.3, обе разработанные в Китае.

Недавнее приобретение компанией Snowflake компании Natoma добавляет еще один уровень возможностей. В результате сделки появилось более 100 коннекторов MCP с ограниченным, регулируемым доступом. Например, агент может получить доступ только для чтения к подключенному инструменту, такому как электронная почта, вместо более широких разрешений.

Контекст позволяет более дешевой модели выполнить работу.

Компания Snowflake недавно анонсировала инструменты Horizon Context и Cortex Sense, которые предоставляют возможности работы с контекстом.

Без достаточного контекста модели приходится самостоятельно выполнять исследовательскую работу: писать и тестировать SQL-запросы, искать данные и повторять попытки, если что-то не работает. Гюльтекин объяснил, что этот процесс дорогостоящий, и для его правильной реализации обычно требуется более совершенная модель. Предварительная подготовка контекста исключает этот этап исследования, а это значит, что более простая и дешевая модель часто может справиться с той же задачей.

Snowflake также интегрирует память агента в этот контекст. По мере многократного использования агента его память обновляется и включается в будущие запросы. Система не решает одну и ту же задачу с нуля каждый раз. Память становится частью контекста, передаваемого модели.

OpenRouter, Databricks и Nvidia сталкиваются с одной и той же проблемой.

В сфере маршрутизации на основе моделей нет недостатка в технологиях. OpenRouter — один из наиболее известных вариантов, предоставляющий платформу, позволяющую организациям осуществлять маршрутизацию на основе стоимости и производительности. 11 августа Nvidia анонсировала Switchyard как технологический слой, помогающий в выборе модели маршрутизации для ИИ. Databricks также предлагает решение Smart Routing для своего шлюза Unity AI Gateway. «Интересно то, что это говорит о том, куда сместилась дифференциация», — сказал VentureBeat Санджив Мохан, главный специалист и основатель SanjMo. «Snowflake на самом деле продает не маршрутизацию, а маршрутизацию, которая никогда не выходит за пределы управляемых данных, с уже прикрепленными средствами контроля доступа, тегированием и распределением затрат».

Мохан добавил, что для компании, чьи данные и соответствие требованиям уже сосредоточены на Snowflake, маршрутизация, которая сохраняет данные в неизменном виде и атрибуты, распределяемые по командам, является реальным рычагом для решения этой проблемы. Для компании, не имеющей такого центра тяжести, нейтральный шлюз может обеспечить маршрутизацию между большим количеством моделей с меньшими препятствиями.

Мохан рассматривает рынок как три отдельных лагеря, а не как одно конкурентное поле. Databricks подходит к управлению данными с точки зрения инженерии данных и происхождения моделей машинного обучения. Ее каталог Unity управляет данными, моделями и конвейерами для команд, создающих и обучающих модели. Snowflake подходит к управлению данными с точки зрения аналитики и контроля доступа, определяя, кто может работать с какими данными, и распределяя использование между бизнес-подразделениями. Третий лагерь включает в себя нейтральные шлюзы, такие как OpenRouter, LiteLLM, Portkey, и маршрутизаторы для гипермасштабируемых систем, такие как Azure AI Foundry. Они конкурируют за счет широты охвата моделей и избегания зависимости от конкретного поставщика, а не за счет глубокого управления.

Выбор маршрутизатора означает выбор модели управления.

Маршрутизация по моделям теперь является обязательным условием для предприятий. Важно решить, какая модель управления уже соответствует организации данных и команд, а не какой маршрутизатор от какого поставщика самый быстрый или дешевый.

Ручной выбор модели становится источником дополнительных затрат при увеличении числа агентов. То, что работало, когда команда управляла несколькими агентами, перестает работать в больших масштабах. Сотни агентов, совершающих рутинные звонки для выбора модели без автоматизированной проверки затрат, быстро приводят к значительным расходам.

Оценивайте модель управления, а не список функций маршрутизатора. По словам Мохана, главный вопрос заключается в том, какая модель управления соответствует уже существующей базе данных и какая обеспечивает необходимую прозрачность затрат, чтобы избежать неприятных сюрпризов.

Правильная отправная точка зависит от того, где уже хранятся данные предприятия. По словам Мохана, компания, использующая Snowflake, получает больше пользы от маршрутизации внутри платформы, которая учитывает существующую модель доступа и выставляет счета центрам затрат, чем от простого расширения модели. Команде, ориентированной на Databricks и обеспокоенной происхождением данных на этапах обучения и развертывания, лучше подойдет шлюз, построенный на основе этого же происхождения. Многоплатформенной команде или команде, ориентированной на модели, которая хочет максимального выбора при минимальной привязке к конкретной платформе, лучше подойдет нейтральный шлюз — тот же принцип лежит в основе оценки OpenRouter.

«Практикующим специалистам не следует начинать с маршрутизатора, а нужно начать с того, где уже находятся ваши управляемые данные и обязательства по платформе, а также с того, насколько ваша прибыль подвержена влиянию затрат на вывод информации», — сказал Мохан.

Источник: venturebeat.com