Уроки масштабирования LLM
Делиться
Когда моя команда впервые запустила внутреннего помощника на базе GPT, его внедрение пошло быстрыми темпами. Инженеры использовали его для тестовых случаев, агенты поддержки — для составления сводок, а менеджеры по продукту — для составления спецификаций. Несколько недель спустя финансовый отдел выставил счёт. То, что изначально составляло несколько сотен долларов на пилотный проект, выросло до десятков тысяч. Никто не мог сказать, какие команды или функции стали причиной этого скачка.
Такой опыт встречается не так уж редко. Компании, экспериментирующие с LLM и управляемыми сервисами ИИ, быстро понимают, что эти расходы не соответствуют SaaS или традиционному облаку. Расходы на ИИ зависят от использования и нестабильны. Каждый вызов API, каждый токен и каждый час работы графического процессора накапливаются. Без прозрачности расходы растут быстрее, чем внедрение.
За всё время я увидел четыре практических подхода к контролю расходов на ИИ. Каждый из них лучше всего работает в разных условиях.
Источник: towardsdatascience.com
