📁 Пока все обсуждают, насколько хорошо ИИ пишет код, разработчики…

📁 Пока все обсуждают, насколько хорошо ИИ пишет код, разработчики столкнулись с новой проблемой — стоимостью. Создатели проекта Edgy утверждают, что до 40% токенов в работе AI-ассистентов тратится впустую: на лишние данные, историю переписки и «шум», который модели вовсе не нужен.

Они предлагают решать это через специальный AI-шлюз, который очищает запросы перед отправкой в LLM, сжимает токены и при необходимости автоматически переключает запросы между разными моделями. По словам разработчиков, такой подход позволяет сократить расходы почти на 20% без потери качества ответов.

🔪 Похоже, следующая гонка в мире ИИ развернётся уже не за самые умные модели, а за самую эффективную инфраструктуру вокруг них.

❓ Как думаете, через пару лет стоимость использования ИИ станет важнее качества самих моделей?