Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI
Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI
В этой статье мы простыми словами разберём, как запустить локальную языковую модель (LLM) на сервере или домашнем ПК. Мы установим Ollama, поднимем веб-интерфейс Open WebUI и сделаем из этого «свой ChatGPT» с доступом через браузер.
Зачем нужен Ollama и Open WebUI
Ollama — это программа, которая умеет запускать большие языковые модели локально: у вас на компьютере или на сервере. Open WebUI — это удобный веб-интерфейс к этим моделям: вы открываете браузер, заходите на страницу и общаетесь с нейросетью как с ChatGPT.
Такой набор особенно полезен, когда вы не хотите отправлять данные во внешние сервисы, хотите держать ИИ ближе к своим системам или просто любите всё контролировать сами.
Что нужно от сервера или компьютера
Чтобы всё работало, важно понимать, что языковые модели требуют ресурсов. Но нам не нужен суперкомпьютер: для стартового варианта подойдёт обычный VPS или домашний ПК.
| Параметр | Минимум для старта | Комфортный уровень |
|---|---|---|
| Оперативная память | 8 ГБ | 16–32 ГБ |
| Свободное место на диске | 20–30 ГБ | 50–100 ГБ SSD |
| Видеокарта | Можно без GPU | От 8 ГБ видеопамяти |
| ОС сервера | Ubuntu / Debian / другая Linux | Любой стабильный Linux с Docker |
Что важно для новичка
- Иметь SSH-доступ к серверу или уметь открывать терминал на своём ПК.
- Понимать, как копировать команды и вставлять их в терминал.
- Не бояться, если терминал выводит много текста — это нормально.
Установка Ollama
Начнём с установки «двигателя» — Ollama. Сначала поставим её на сервер или компьютер, затем проверим, что она работает.
Linux (Ubuntu / Debian)
- Подключитесь к серверу по SSH или откройте терминал на своём Linux-компьютере.
- Скопируйте следующую команду целиком:
curl -fsSL https://ollama.com/install.sh | sh
- Вставьте команду в терминал и нажмите Enter.
- Подождите, пока установка завершится. Терминал сам покажет прогресс.
- После установки введите команду:
ollama --version
Если вы видите версию или справку по команде, значит Ollama установилась успешно.
Windows и macOS
На Windows и macOS можно скачать установщик с официального сайта Ollama. Процесс похож на установку обычной программы: скачали файл, запустили, несколько раз нажали «Далее» и «Установить».
После установки откройте PowerShell или Terminal и введите команду ollama. Если программа отвечает и показывает подсказку, всё в порядке.
Скачивание первой модели
Теперь нужно поставить саму модель. Без неё Ollama — просто пустая оболочка. Мы возьмём популярную модель и проверим, что она запускается.
Шаг 1. Выбор модели
Самый простой способ — ввести команду вида:
ollama run llama3
Здесь llama3 — название модели. Можно заменить её на mistral, gemma или другую, если вы знаете, что хотите попробовать.
Шаг 2. Загрузка
- Вставьте команду в терминал.
- Нажмите Enter.
- Подождите. Ollama скачает модель — это может занять от нескольких минут до десятков минут, в зависимости от размера и скорости сети.
Шаг 3. Проверка работы
После загрузки терминал предложит вам ввести текст. Напишите, например:
Привет. Кратко расскажи, что ты умеешь.
Если вы видите ответ — значит модель работает локально.
Установка Open WebUI через Docker
Теперь добавим к нашему «двигателю» удобную панель управления. Для этого мы развернём Open WebUI в Docker-контейнере.
Шаг 1. Установка Docker
Если Docker ещё не установлен, его ставят стандартным способом для вашей операционной системы. На Ubuntu это обычно несколько команд из официальной документации, вот прямая ссылка на официальный сайт: https://www.docker.com/
Шаг 2. Запуск Open WebUI одной командой
После установки Docker можно запустить Open WebUI так:
docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
Эта команда делает несколько вещей:
- скачивает образ Open WebUI;
- создаёт контейнер с именем
open-webui; - открывает порт 3000 для доступа из браузера;
- создаёт постоянное хранилище настроек.
http://localhost:3000. Если на удалённом сервере, то по адресу http://IP_сервера:3000.Как связать Open WebUI и Ollama
Open WebUI нужно «сказать», где искать Ollama. Обычно они находятся на одной машине, но нужно указать правильный адрес.
Шаг 1. Убедиться, что Ollama запущена
ollama serve
После этой команды Ollama начинает слушать запросы на порту 11434. Это стандартный порт.
Шаг 2. Настройка подключения в Open WebUI
- Откройте браузер и зайдите на страницу Open WebUI (порт 3000).
- При первом входе создайте пользователя и войдите в систему.
- Перейдите в раздел настроек администратора (Admin Settings).
- Найдите пункт, связанный с подключением Ollama.
- Укажите адрес сервиса:
http://host.docker.internal:11434
Для некоторых систем вместо host.docker.internal используют IP-адрес самой машины, например http://127.0.0.1:11434.
Первый вход через браузер
Когда всё настроено, можно перейти к лучшей части — общению с нейросетью в веб-интерфейсе.
- Откройте браузер на своём компьютере.
- Введите в адресной строке:
http://localhost:3000
Если Open WebUI запущен на удалённом сервере, вместо localhost вставьте IP-адрес сервера.
- Зайдите в интерфейс и выберите раздел с чатами.
- Выберите модель, которую вы скачали через Ollama.
- Напишите в поле ввода простой запрос: например, попросите модель описать ваш любимый город.
- Нажмите Enter и дождитесь ответа.
Частые ошибки и как их решить
- Ошибка 1. Docker говорит, что порт занятВероятно, на этом порту уже работает другая программа. Можно либо остановить её, либо выбрать другой порт в команде запуска (например, 4000 вместо 3000).
- Ошибка 2. Open WebUI не видит OllamaПроверьте, запущена ли Ollama командой
ollama serve. Убедитесь, что адрес подключения в настройках Open WebUI совпадает с адресом службы. - Ошибка 3. Модель не скачивается из OllamaПроверьте интернет-соединение и свободное место на диске. Если вы видите ошибки в терминале, внимательно прочитайте текст — иногда там прямо указано, что именно не так.
- Ошибка 4. Всё работает, но очень медленноНа слабых серверах модели будут отвечать медленнее. Попробуйте выбрать более лёгкую модель или уменьшить параметры контекста в Open WebUI.
Развернём локальную LLM на вашем сервере под ключ
Поднимем Ollama и Open WebUI на вашем VPS или ПК, подберём модель под ресурсы, настроим доступ через браузер и безопасность. Пишите — ответим и поможем.
Похожие записи
- Директор Amazon по искусственному интеллекту заявил на конференции VB Transform 2026, что не возможности ИИ-агентств препятствуют их внедрению в корпоративной среде из-за низкой надежности.
- Страх перед человекоподобными роботами подтолкнул рабочих к забастовке на автомобильном заводе Hyundai.
- Европейский ИИ: что там вообще происходит?
Оцените материал:
Похожие записи
А вы знаете, что математикам не присуждают Нобелевскую премию?
28.06.2025
За весь 2025 финансовый год Micron нарастила выручку на приличные 49%
26.09.2025
4 ошибки, которые делают ваш бизнес невидимым для нейросетей (и как их исправить)
28.09.2025Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.
