Длинные цепочки рассуждений раздувают KV-кеш модели, съедая память. Все…

➡️ Длинные цепочки рассуждений раздувают KV-кеш модели, съедая память. Все существующие методы сжатия оценивают важность каждого токена и оставляют самые «ценные» — авторы показывают, что этот сигнал важности почти ничего не даёт.

Random Attention сохраняет исходный промпт, а всё остальное выбрасывает случайным образом, без всяких оценок важности. На четырёх моделях и шести задачах метод сравнялся по качеству с лучшим предыдущим подходом, но дал на 32-43% больше пропускной способности.

🖼️ Объяснение простое: промпт — самая хрупкая часть кеша, а разница между методами сводится к тому, повезло ли им его сохранить. Сама цепочка рассуждений защищает себя избыточностью — модель постоянно переформулирует нужное прямо в тексте, а разные attention-головы хранят свои копии независимо. Промпт в безопасности — и случайная выборка сохраняет достаточно нужного без всякой оценки.