📁 Пока все обсуждают, насколько хорошо ИИ пишет код, разработчики…
📁 Пока все обсуждают, насколько хорошо ИИ пишет код, разработчики столкнулись с новой проблемой — стоимостью. Создатели проекта Edgy утверждают, что до 40% токенов в работе AI-ассистентов тратится впустую: на лишние данные, историю переписки и «шум», который модели вовсе не нужен.
Они предлагают решать это через специальный AI-шлюз, который очищает запросы перед отправкой в LLM, сжимает токены и при необходимости автоматически переключает запросы между разными моделями. По словам разработчиков, такой подход позволяет сократить расходы почти на 20% без потери качества ответов.
🔪 Похоже, следующая гонка в мире ИИ развернётся уже не за самые умные модели, а за самую эффективную инфраструктуру вокруг них.
❓ Как думаете, через пару лет стоимость использования ИИ станет важнее качества самих моделей?
Похожие записи
- Большой адронный коллайдер остановили на четыре года для модернизации. Ученые планируют поднять светимость в десять раз
- T-Mobile переводит десятки тысяч виртуальных машин с платформы VMware на фоне судебного иска.
- «Он что, думает, что он настоящий?» — реакция пользователей социальных сетей на разговор Трампа с искусственным интеллектом Тедди Рузвельтом.
Оцените материал:
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.
