DeepSeek снизил цены на 75%. Проблема 100-кратного увеличения по-прежнему сохраняется.

Майтрейи Чаттерджи , Деванш Агарвал

Недавнее решение DeepSeek резко снизить цену на свою модель V4-Pro на 75% должно было стать безусловно хорошей новостью для поставщиков и разработчиков решений в области искусственного интеллекта для бизнеса. Однако многие обнаружили, что более дешевые модели не обязательно приводят к увеличению прибыли.

Причина проста: в то время как затраты на вывод данных резко падают, агентные системы потребляют токены с невероятной скоростью, опережая падение их цен. В течение последних двух десятилетий экономика программного обеспечения диктовалась тем же правилом. Инфраструктура становилась дешевле с каждым годом, в то время как приложения становились более функциональными. Первоначально предполагалось, что ИИ будет следовать той же схеме. По мере совершенствования моделей и падения цен на токены многие предполагали, что затраты на вывод данных станут незначительными операционными расходами. Это предположение начало экспоненциально рушиться.

Чат-бот обычно преобразует один вопрос пользователя в один вызов модели. Агент превращает его в цепочку планирования, поиска, использования инструмента, проверки, обобщения и принятия последующих решений. Пользователь видит один ответ. Поставщик платит за весь цикл. В этом и заключается проблема 100-кратного увеличения: один и тот же видимый пользователю запрос может стоить гораздо дороже в качестве рабочего процесса с участием агента, чем в качестве ответа чат-бота или системы генерации с расширенным поиском (RAG). В более длительных рабочих процессах множитель выше. Снижение цен на модели помогает, но не решает проблему архитектуры продукта, которая превращает один запрос в десятки оплачиваемых операций.

Масштаб того, что сейчас поставлено на карту, очевиден по тому, как сами поставщики моделей устанавливают цены на отношения с разработчиками. Предложенная OpenAI программа, предусматривающая предоставление каждому стартапу из Y Combinator 2 миллионов долларов в виде API-кредитов — сумма, которая в любом предыдущем технологическом цикле позволила бы профинансировать целый посевной раунд, и это при том, что та же группа стартапов обходилась всего несколькими тысячами долларов AWS-кредитов, — это не столько привилегия для привлечения новых сотрудников, сколько признание того, сколько теперь стоит содержать компанию, ориентированную на ИИ, в течение первого года работы продукта. Для устоявшихся предприятий, интегрирующих агентов в существующие продуктовые линейки, абсолютные цифры еще больше.

Что такое усиление токенов?

В чат-боте с одним циклом обработки сообщений от пользователя генерируется примерно один вызов модели. Соотношение входящих запросов к оплаченным составляет примерно 1:5.

В многоэтапной системе, развернутой в отделах поддержки клиентов, продаж, финансов, юридического анализа и разработки, это соотношение обычно составляет 1:700 или выше . Каждая итерация цикла сохраняет накопленный диалог, результаты работы инструмента и траектории рассуждений. Каждый шаг добавляет данные; ничего не теряется.

Простой запрос агента, например: « О чем спрашивал наш самый популярный клиент на прошлой неделе?» , обычно обрабатывает семь платных операций, прежде чем вернуть ответ:

1. Запрос пользователя (~50 токенов)

2. Системные подсказки и определения инструментов (~3000 токенов, повторяются при каждом вызове)

3. Поиск (~5000 контекстных токенов)

4. Примерный запрос №1 — выбор инструмента (8000 на входе / 200 на выходе)

5. Выполнение инструмента (возвращено около 4000 токенов)

6. Второй вариант модели — суммирование (12 000 входящих / 400 исходящих)

7. Модельный звонок №3 — решение по дальнейшим действиям (12 400 входящих / 100 исходящих)

Уже после первого предложения выставлено счетов примерно за 35 000 входных токенов. В базовой модели это где-то от 0,10 до 0,40 доллара за запрос. Умножьте это на миллион запросов в месяц — базовый объем для любой корпоративной B2B-функции — и итоговая сумма составит шестизначную цифру.

Почему это разрушает существующую бизнес-модель в сфере ИИ

Основной моделью ценообразования для корпоративного ИИ является SaaS-решение на основе количества рабочих мест : оплата за пользователя в месяц, предоставление возможностей для агентов, получение прибыли. Эта модель предполагает разумно ограниченную стоимость за пользователя.

Увеличение стоимости токенов разрушает устоявшееся предположение. Опытный пользователь, запускающий 50 агентов в день по тарифному плану за 40 долларов за место, может обходиться дороже в плане вычислительных ресурсов, чем стоит сам план. Увеличение стоимости токенов разрушает традиционную модель ценообразования SaaS. Когда ежедневная активность агента у опытного пользователя обходится дороже в плане вычислительных ресурсов, чем его ежемесячная абонентская плата, валовая прибыль поставщика становится отрицательной — парадокс, который усугубляется по мере того, как клиенты все активнее используют агентов, — именно ту кривую использования, которую поставщики продают своим советам директоров. Некоторые поставщики сейчас в частном порядке сообщают об отрицательной валовой прибыли у активных пользователей, что отражает недавние отчеты о расходах на облачные сервисы от группы компаний Bessemer «Supernova», где корреляция между внедрением ИИ-агентов и сокращением валовой прибыли перешла из теоретического риска в основной фактор, негативно влияющий на прибыль.

В публичных СМИ начали просачиваться видимые симптомы. На этой неделе Bloomberg задокументировал увеличивающийся разрыв между маркетинговыми демонстрациями Agentforce от Salesforce и возможностями, фактически предоставляемыми клиентам. Такой разрыв предсказуемо возникает, когда обещанная функциональность технически возможна, но нерентабельна для предоставления по цене, указанной в плане подписки. Случай с Salesforce — самый обсуждаемый, но не уникальный.

«Для моей команды затраты на вычислительные ресурсы значительно превышают затраты на сотрудников». — Брайан Катанзаро, вице-президент по прикладному глубокому обучению, Nvidia.

Стратегический вывод заключается не в том, что «ИИ — это дорого». Он состоит в том, что доминирующая бизнес-модель, принятая большинством компаний, изначально ориентированных на ИИ, не выдерживает столкновения с рабочими нагрузками, создаваемыми агентами.

Простой пример

Рассмотрим ситуацию, когда поставщик корпоративного программного обеспечения взимает 40 долларов в месяц с пользователя за голосового помощника с поддержкой на основе искусственного интеллекта. Традиционный чат-бот может обходиться всего в несколько центов в день на обработку данных с пользователя, что обеспечивает хорошую валовую прибыль.

Теперь замените этот чат-бот на полностью автоматизированный рабочий процесс, способный обрабатывать заявки, запрашивать данные из внутренних систем, составлять ответы, проверять результаты и передавать исключения на более высокий уровень. Если активный пользователь выполняет от 50 до 100 запросов к агенту в день, потребление ресурсов может увеличиться на порядок. То, что раньше было незначительной статьей расходов на инфраструктуру, становится существенными эксплуатационными расходами.

Это создает необычную динамику: клиенты, получающие наибольшую выгоду от продукта, часто являются теми, кто несет самые высокие затраты на обработку данных. В крайних случаях поставщики могут обнаружить, что их наиболее вовлеченные пользователи приносят наименьшую прибыль. В результате в сфере корпоративного программного обеспечения растет понимание того, что внедрение агентов и расширение маржи больше не являются автоматически взаимосвязанными процессами.

Управление агентами — это новый барьер для защиты.

Технические решения известны и сходятся воедино. Они не новы, но имеют решающее значение для выживания.

• Маршрутизация с учетом стоимости : этот метод включает в себя небольшую модель классификатора, которая определяет, какой уровень (аналоги Haiku, Sonnet, Opus) обрабатывает каждый запрос. Хорошо настроенные маршрутизаторы сокращают затраты на обработку запросов примерно на 60% без ухудшения качества.

• Быстрое кэширование : Anthropic, OpenAI и Google теперь предлагают скидки от 75 до 90% на кэшированные префиксы.

• Дисциплина контекста : Вы можете обрезать выходные данные инструмента, сокращать траектории рассуждений и ограничивать глубину инструмента, чтобы предотвратить чрезмерное увлечение агента сложными задачами.

• Спекулятивное декодирование : для развертываний на собственных серверах этот метод гарантирует в 2-3 раза большую эффективную пропускную способность на тех же графических процессорах.

«Организации, использующие управление на основе оркестровки, сообщают о более значительном повышении производительности — целостный уровень оркестровки оказывает в шесть раз большее влияние на производительность, чем подходы, основанные только на соблюдении нормативных требований» — IBM

Компании, хорошо создающие этот уровень, начинают меньше походить на операторов микросервисов и больше на финансовые торговые системы : каждое решение по маршрутизации имеет свою цену, каждый путь имеет свой собственный отчет о прибылях и убытках, каждый арендатор работает по тарификационному плану.

Что на самом деле должны делать руководители предприятий?

Четыре фактора отличают компании, которые сохранят рентабельность через 24 месяца, от тех, которые её потеряют:

1. Сделайте стоимость вывода первостепенным показателем. Отслеживайте ее по каждому параметру, каждому арендатору, каждому классу запросов так же, как отслеживалась стоимость облачных вычислений, начиная с середины 2010-х годов.

2. Составляйте бюджет как медиабайер. Установите потолок стоимости за тысячу запросов для каждой функции. Ограничьте их. Оповещайте о превышении бюджета. Инженерный отдел не сможет самостоятельно это контролировать.

3. Рассматривайте маршрутизатор как основную инфраструктуру, а не как средство оптимизации. Это новый балансировщик нагрузки.

4. Ежеквартальные аудиторские проверки. Системная проверка на 4000 токенов, которая органично разрослась за шесть месяцев, в замедленном темпе превращается в шестизначный счет. Большинство команд никогда не читали свои собственные производственные проверки от начала до конца.

5. Договоритесь о гарантированном объеме услуг заранее. Поставщики, работающие по модели Frontier, теперь предлагают предоплаченные контракты с резервированием экземпляров со значительными скидками. Цена по прейскуранту — это худшая цена, которую когда-либо заплатит любое предприятие.

следующие 24 месяца

Основной структурный сдвиг в основе агентного ИИ заключается не в его дороговизне. Как показывает сегодняшнее снижение цен компанией DeepSeek, себестоимость вычислительных единиц на переднем крае вычислений снижается примерно в 3 раза в год, и эта тенденция не замедляется.

Суть в том, что эффект усиления опережает снижение цен . Снижение стоимости за токен на 75% не помогает компании, чьи агенты обрабатывают в 700 раз больше токенов на каждый запрос пользователя, чем предполагала её ценовая модель. Впервые с начала эры облачных технологий архитектурные решения снова стали финансовыми решениями в режиме реального времени. Оперативное перепроектирование — это событие, влияющее на маржу. Плохо налаженный цикл работы агентов — это сбой с привязанной к нему кредитной картой.

Пережить следующие 24 месяца ценообразования на инфраструктуру ИИ смогут не те компании, которые используют самую дешевую модель. Это будут те, чьи агенты умны и знают, сколько стоит их способность мыслить.

В этом и заключается проблема в 100 раз. И она нарастает быстрее, чем снижение цен может это скрыть.

Майтрейи Чаттерджи — старший инженер-программист в крупной технологической компании.

Деванш Агарвал работает инженером по машинному обучению в ведущей технологической компании.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Источник: venturebeat.com