☀️ Видео KodeCloud разбирает квантизацию — почему модель на 70…

☀️ Видео KodeCloud разбирает квантизацию — почему модель на 70 млрд параметров можно запустить не на сервере, а на обычной видеокарте. Каждый параметр — число, и то, сколько бит уходит на его хранение, определяет размер модели.

Авторы разводят три вещи, которые обычно путают: числовые форматы (FP16, INT8, INT4 — сколько бит на число), методы квантизации (GPTQ, AWQ — алгоритмы, которые решают, какие веса можно упростить без потери качества) и файловые форматы (GGUF — просто контейнер для готового результата, а не метод квантизации, хотя его часто путают с ним).

🔥 Практический вывод: снижение точности не бывает бесплатным. Q4 даёт примерно вдвое меньше объём против FP16 при потере качества 3-5% — нормально для чата, но для кодинга и сложных рассуждений точность обычно стоит доплатить памятью.

Хорошая база для тех, кто пробует запускать открытые модели вроде Kimi K3 или GLM локально и натыкается на суффиксы вроде Q4_K_M в названиях файлов.

❓ Запускаете модели локально, или предпочитаете облачный API без возни с квантизацией?