Спекулятивные каскады — гибридный подход для более интеллектуального и быстрого вывода LLM-моделей.

Мы представляем «спекулятивные каскады» — новый подход, который повышает эффективность LLM и снижает вычислительные затраты за счет…