Мы проверили обещанные Nvidia 15x на DFlash: получилось 2,3x

Помните DFlash? В начале года о нём много шумели: способ ускорить любую LLM, не трогая саму модель. Nvidia тогда выкатила заголовки «До 15x к пропускной способности на Blackwell». Цифра весомая, звучит как революция.

Мы, конечно, решили покрутить это вручную. Для этого взяли драфтер DFlash для Gemma 4 26B, который лежит прямо в репозитории модели, прогнали на своём стенде.

Но вместо 15x получили 2,3x, и только пока на карте висит один‑единственный запрос… Если запустить 4 пользователей одновременно — ускорение исчезает, а на 8 параллельных запросах DFlash начинает проигрывать.

Сейчас расскажу, откуда берутся магические 15x и почему наши графики расходятся с вендорскими.

Читать далее

Источник: habr.com