Архив рубрики ~Лента новостей~
Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf
В общем смысл статьи в том чтобы попытаться математически вычислить теоретическую скорость генерации токенов в программе llama.cpp для моделей на hugginface, просто открыв карточку модели и нажав на закладку (букмарклет). Но как выяснилось просто поделить одно число на другое (вес модели на…
Читать