Локальные нейросети — запустить ИИ на своём компьютере в 2026 году

Популярная версия — это сложно, нужен мощный сервер и месяц на настройку. Реальность выглядит иначе. В июне 2026-го запуск языковой модели на собственном компьютере — это одна команда в терминале и три минуты ожидания, пока скачается GGUF-файл. Qwen3:8b стартует на 8 ГБ VRAM, отвечает быстро, данные не покидают машину. Порог входа за последние два года упал радикально.

Зачем вообще это нужно — понятное дело. Приватность — промпты не уходят в OpenAI, Anthropic или Google. Работа без интернета. Отсутствие лимитов на запросы. Отсутствие цензуры на уровне API. Для части задач — и бесплатно.

Тестировали на Windows 11, RTX 4070 Ti (12 ГБ VRAM). Несколько моделей в разных конфигурациях через Ollama и LM Studio. Отдельно — Wan 2.7 для генерации изображений. Задачи были рабочие — суммаризация, код, Q&A по документам.

Начнём с честного разговора про железо, потому что здесь больше всего путаницы.

Без GPU работает, но медленно. Очень медленно. На современном CPU модель выдаёт 2-5 токенов в секунду — это читабельно, но для рабочего использования неудобно. GPU с 8 ГБ VRAM — минимальный комфортный порог для 2026 года. На нём нормально работают 7-8B-параметровые модели в 4-bit квантизации — Qwen3:8b, Llama 3.2:8b, Gemma:9b. Скорость — 30-50 токенов в секунду, это уже нормально.

12 ГБ VRAM — хорошая точка. Сюда влезают 13-14B-модели целиком, и работают быстро. 24 ГБ — можно запускать 32B и выше. Для 70B-моделей нужно либо два GPU, либо смириться с частичной выгрузкой в оперативку — скорость падает, но работает.

Критический момент, который часто не объясняют — если модель не помещается в VRAM целиком, она «выпадает» в RAM. RAM медленнее видеопамяти на порядок. На практике это значит — или модель влезает в VRAM полностью, или результат непригоден для рабочего использования. Не «чуть медленнее» — а принципиально другое.

На Apple Silicon ситуация лучше — объединённая память делится между CPU и GPU, поэтому на M3 Pro с 18 ГБ unified memory можно запускать 14B без проблем и получать достойную скорость через MLX-движок.

ollama.com

Ollama — это способ запустить языковую модель одной командой. Устанавливается как обычная программа, работает как сервис в фоне, принимает OpenAI-совместимые запросы. Актуальная версия — v0.30.4.

Установка — скачать установщик с ollama.com и запустить. После этого в терминале:

Модель скачается (~20 ГБ для 30B в Q4_K_M), запустится и откроется интерактивный чат прямо в терминале. Всё. Для запуска 8B-варианта достаточно 8 ГБ VRAM:

Ollama поддерживает больше 100 моделей в официальном реестре. Актуальные для июня 2026-го — Qwen3 (30B — сильнее всего по соотношению размер/качество, 8B — для ограниченного железа), Gemma 4 (с нативным function calling для агентных задач), Llama 3.x, Phi-4 (компактный и быстрый), DeepSeek (код и reasoning), Mistral. В апреле 2026-го добавили NVIDIA Nemotron 3 Ultra.

Важный момент про тег :latest — он указывает на версию по умолчанию, а не самую мощную. Если хотите конкретное размерное окно — явно указывайте: qwen3:30b, не qwen3:latest.

Ollama работает как локальный API-сервер на порту 11434. Это значит, что любой клиент, заточенный под OpenAI API, можно подключить к нему заменой одной строки — base_url=»http://localhost:11434/v1″. Сюда подключаются Open WebUI (браузерный интерфейс для Ollama, очень похожий на ChatGPT), Cursor, Continue, любой собственный Python-скрипт. В версии 0.30 добавили также совместимость с Anthropic Messages API — можно подключать инструменты, которые раньше требовали Claude.

Экспериментальная генерация изображений появилась в 0.30 — пока только macOS, пока нестабильно. Для Windows нормальная генерация изображений — через отдельный инструмент, об этом ниже.

Ollama под Windows работает нормально. AMD GPU поддерживается через ROCm, но стабильность хуже, чем на NVIDIA. CPU-инференс — через llama.cpp, работает на любом железе, просто медленно.

lmstudio.ai

LM Studio — это GUI поверх того же llama.cpp. Актуальная версия — 0.4.x. Если Ollama работает в терминале и предполагает, что вы знаете что делаете, LM Studio даёт визуальный интерфейс — поиск моделей, скачка, настройка параметров, чат — всё в одном окне.

Скачать с lmstudio.ai, установить, открыть, в строке поиска набрать «qwen3» или «llama3», выбрать вариант по объёму VRAM, нажать Download. После скачки — открыть Chat, выбрать модель в верхней панели, начать. Единственный критический момент при первом запуске — в правой панели настроек выставить ползунок GPU Offload на максимум. Без этого модель будет работать на CPU. Многие не находят, потом жалуются на скорость.

В версии 0.4.0 переработали весь интерфейс и добавили несколько существенных вещей. llmster — headless-режим без GUI для серверных и облачных деплойментов — запускается как демон, принимает API-запросы. LM Link — можно подключиться к удалённому инстансу LM Studio с другого устройства, в том числе через мобильное приложение Locally для iPhone и iPad. MTP Speculative Decoding — ускоряет генерацию на совместимых моделях заметно, без ухудшения качества. Параллельные запросы вместо очереди — для multi-user сценариев.

К слову, в 0.4 добавили совместимость с Claude Code — можно использовать локальные модели как бэкенд для Claude Code через Anthropic-совместимый API. На практике это значит — весь инструментарий Claude Code, но модель работает локально на вашем железе.

Если обновлялись давно и застряли на 0.2.x — встроенный апдейтер может не работать. Просто скачать свежий установщик с сайта напрямую.

LM Studio под Windows, macOS и Linux. На Apple Silicon работает через MLX, включая M5. Поддержка multi-GPU с tensor parallelism для CUDA-сетапов.

wan.video / HuggingFace — Wan-AI

Локальная генерация изображений — отдельная история от текстовых LLM. Wan 2.7 от Alibaba — актуальная версия серии, Apache 2.0, веса на HuggingFace. Для локального запуска нужно больше: 14B-версия требует 24 ГБ VRAM или 16 ГБ с FP8-квантизацией, 1.3B-версия работает на 8 ГБ, но качество существенно ниже.

Wan 2.7 умеет text-to-image до 4K через Image-Pro, text-to-video, редактирование видео по инструкции, рендеринг текста на 12 языках включая кириллицу. Последнее — редкость для open-source.

Локальный запуск через ComfyUI (есть ноды для Wan) или напрямую через Python. Инструкция на GitHub в репозитории Wan-AI подробная. Время генерации одного изображения на RTX 4090 (24 ГБ) — 15-25 секунд для 1024×1024 на 14B.

Для тех, у кого нет 24 ГБ под изображения, есть альтернатива: Wan 2.7 через Alibaba Cloud Model Studio — они принимают иностранные карты, или использовать для текстовых задач Ollama/LM Studio, а для изображений оставить облачный AIPic.ru в рублях. Неудобно два инструмента, но бесплатно.

openwebui.com

Коротко, потому что это дополнение, а не самостоятельный инструмент. Open WebUI — браузерный интерфейс для Ollama, выглядит как ChatGPT — история диалогов, переключение моделей, загрузка документов для RAG, поддержка мультимодальности. Запускается через Docker:

После этого браузер, localhost:3000, выбрать модель из тех, что уже скачаны в Ollama. Всё работает локально.

Хотите попробовать локальный ИИ без знания терминала, есть GPU от 8 ГБ, нужен чат-интерфейс — LM Studio v0.4. Скачать, установить, выставить GPU Offload на максимум, найти Qwen3:8b и запустить.

Нужна интеграция в свои скрипты, нужен локальный API-сервер, планируете подключать сторонние инструменты типа Cursor или Open WebUI — Ollama v0.30. Одна команда ollama run qwen3:30b, API на localhost:11434, OpenAI-совместимый.

Нужна локальная генерация изображений с поддержкой кириллицы, есть 16-24 ГБ VRAM — Wan 2.7 через ComfyUI или Python. Нет 16 ГБ под изображения — облачный AIPic.ru в рублях практичнее.

На Apple Silicon — Ollama с MLX-движком или LM Studio с нативной M-поддержкой. Оба работают заметно быстрее, чем на Windows с аналогичным объёмом памяти, из-за unified memory.

Данные никуда не уходят ни в одном из этих вариантов. Это единственное, что во всём этом не нужно проверять.