Архив рубрики ~Коротко из Telegram~

☀️ Видео KodeCloud разбирает квантизацию — почему модель на 70…

☀️ Видео KodeCloud разбирает квантизацию — почему модель на 70…
File 981

☀️ Видео KodeCloud разбирает квантизацию — почему модель на 70 млрд параметров можно запустить не на сервере, а на обычной видеокарте. Каждый параметр — число, и то, сколько бит уходит на его хранение, определяет размер модели.

Авторы разводят три вещи, которые обычно путают: числовые форматы (FP16, INT8, INT4 — сколько бит на число), методы квантизации (GPTQ, AWQ — алгоритмы, которые решают, какие веса можно упростить без потери качества) и файловые форматы (GGUF — просто контейнер для готового результата, а не метод квантизации, хотя его часто путают с ним).

🔥 Практический вывод: снижение точности не бывает бесплатным. Q4 даёт примерно вдвое меньше объём против FP16 при потере качества 3-5% — нормально для чата, но для кодинга и сложных рассуждений точность обычно стоит доплатить памятью.

Хорошая база для тех, кто пробует запускать открытые модели вроде Kimi K3 или GLM локально и натыкается на суффиксы вроде Q4_K_M в названиях файлов.

❓ Запускаете модели локально, или предпочитаете облачный API без возни с квантизацией?

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Цифровой терроризм без границ: как Узбекистан предлагает защитить Центральную Азию от новых угроз Архив рубрики ~Лента новостей~ Искусственный интеллект выявляет ранние признаки риска развития рака кожи. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Архив рубрики ~Лента новостей~ Новая формула помогает РНК-вакцинам выдерживать высокие температуры. Архив рубрики ~Лента новостей~ Нейросеть знает продукт, но не связывает его с производителем: как бренд теряет собственную известность Новости робототехники Это простое изменение предотвращает застревание роев роботов. Архив рубрики ~Лента новостей~ Стартап Corma, специализирующийся на кибербезопасности и искусственном интеллекте, достиг оценки в 1 миллиард долларов примерно за 3 месяца. Архив рубрики ~Лента новостей~ Свой нативный клиент для AI-агентов за 3 дня: зачем делать харнес и как устроен BB на iPhone и Mac Архив рубрики ~Лента новостей~ Как мы с ИИ искали антиэнтропию и куда он меня завёл Архив рубрики ~Лента новостей~ «Уэбб» обнаружил «запрещённый» сигнал, который раньше не наблюдали ни во Вселенной, ни даже в лаборатории Архив рубрики ~Лента новостей~ ДНК с обложки юбилейного издания «Эгоистичного гена» оказалась закручена в неправильную сторону. Версию с ошибкой выпустили к 50-летию с момента первой публикации книги Архив рубрики ~Лента новостей~ Anthropic научила Claude участвовать в видеозвонках и выполнять задачи прямо во время встречи Архив рубрики ~Лента новостей~ Глубокая грамотность против нейрослопа Архив рубрики ~Лента новостей~ Где была команда безопасности Nvidia? Архив рубрики ~Лента новостей~ Цифровой терроризм без границ: как Узбекистан предлагает защитить Центральную Азию от новых угроз Архив рубрики ~Лента новостей~ Искусственный интеллект выявляет ранние признаки риска развития рака кожи. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Архив рубрики ~Лента новостей~ Новая формула помогает РНК-вакцинам выдерживать высокие температуры. Архив рубрики ~Лента новостей~ Нейросеть знает продукт, но не связывает его с производителем: как бренд теряет собственную известность Новости робототехники Это простое изменение предотвращает застревание роев роботов. Архив рубрики ~Лента новостей~ Стартап Corma, специализирующийся на кибербезопасности и искусственном интеллекте, достиг оценки в 1 миллиард долларов примерно за 3 месяца. Архив рубрики ~Лента новостей~ Свой нативный клиент для AI-агентов за 3 дня: зачем делать харнес и как устроен BB на iPhone и Mac Архив рубрики ~Лента новостей~ Как мы с ИИ искали антиэнтропию и куда он меня завёл Архив рубрики ~Лента новостей~ «Уэбб» обнаружил «запрещённый» сигнал, который раньше не наблюдали ни во Вселенной, ни даже в лаборатории Архив рубрики ~Лента новостей~ ДНК с обложки юбилейного издания «Эгоистичного гена» оказалась закручена в неправильную сторону. Версию с ошибкой выпустили к 50-летию с момента первой публикации книги Архив рубрики ~Лента новостей~ Anthropic научила Claude участвовать в видеозвонках и выполнять задачи прямо во время встречи Архив рубрики ~Лента новостей~ Глубокая грамотность против нейрослопа Архив рубрики ~Лента новостей~ Где была команда безопасности Nvidia?

Оставить комментарий