👆 Мощный ИИ больше не требует дата-центра — многие модели…

👆 Мощный ИИ больше не требует дата-центра — многие модели уверенно работают на обычном ноутбуке, особенно в квантизированной (4-bit) версии. Главное — выбрать семейство под задачу, а не гнаться за абстрактными бенчмарками. Вот практичный ориентир по самым живым вариантам.

1. Phi-3.5 Mini (3.8B) — чемпион по длинному контексту среди «малышей». Отлично подходит для RAG, чтения больших PDF и техдоков. Требует ~6–10 ГБ RAM в 4-bit.
2. Llama 3.2 3B — универсал для чата, суммаризации и классификации. Лёгкий старт, стабильное качество. От 6 ГБ RAM (4-bit).
3. Llama 3.2 1B — ультра-экономичный вариант для edge и даже смартфонов. 2–4 ГБ RAM в квантизации.
4. Ministral 3 8B — «почти большой» при умеренных ресурсах. Силен в сложном рассуждении и коде. Комфортно с 16 ГБ RAM.
5. Qwen 2.5 7B — специалист по коду и математике. Если задача — программирование, это фаворит своего класса.
6. Gemma 2 9B — максимум качества, который потянет ноутбук. Хорошо выровнен по безопасности и сложным инструкциям.
7. SmolLM2 1.7B — быстрый и лёгкий для прототипирования и обучения.

⚠️ Барьер входа драматически снизился: скачал веса, запустил через llama.cpp или Ollama — и модель уже работает локально. Это меняет экономику разработки: приватность, отсутствие API-расходов и полный контроль над пайплайном становятся нормой, а не привилегией. Когда даже 1–3B модели решают реальные задачи, возникает интересный сдвиг — возможно, будущее не только в «больше параметров», а в более точной настройке под конкретный сценарий.