Архив рубрики ~Полезное~

Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI

1
Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI
Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI
IDEIPRO · Локальный ChatGPT на сервере

Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI

В этой статье мы простыми словами разберём, как запустить локальную языковую модель (LLM) на сервере или домашнем ПК. Мы установим Ollama, поднимем веб-интерфейс Open WebUI и сделаем из этого «свой ChatGPT» с доступом через браузер.

Для когоНовички, владельцы VPS, админы, разработчики, авторы сайтов.
Что получитсяСвой локальный чат-бот, работающий на сервере, без внешнего API.
Что нужноСервер или ПК с Linux/Windows/macOS и базовый доступ к терминалу.

Зачем нужен Ollama и Open WebUI

Ollama — это программа, которая умеет запускать большие языковые модели локально: у вас на компьютере или на сервере. Open WebUI — это удобный веб-интерфейс к этим моделям: вы открываете браузер, заходите на страницу и общаетесь с нейросетью как с ChatGPT.

Такой набор особенно полезен, когда вы не хотите отправлять данные во внешние сервисы, хотите держать ИИ ближе к своим системам или просто любите всё контролировать сами.

Простое объяснение. Ollama — «двигатель» нейросети, Open WebUI — «передняя панель» с полем для ввода и ответами.

Что нужно от сервера или компьютера

Чтобы всё работало, важно понимать, что языковые модели требуют ресурсов. Но нам не нужен суперкомпьютер: для стартового варианта подойдёт обычный VPS или домашний ПК.

ПараметрМинимум для стартаКомфортный уровень
Оперативная память8 ГБ16–32 ГБ
Свободное место на диске20–30 ГБ50–100 ГБ SSD
ВидеокартаМожно без GPUОт 8 ГБ видеопамяти
ОС сервераUbuntu / Debian / другая LinuxЛюбой стабильный Linux с Docker

Что важно для новичка

  • Иметь SSH-доступ к серверу или уметь открывать терминал на своём ПК.
  • Понимать, как копировать команды и вставлять их в терминал.
  • Не бояться, если терминал выводит много текста — это нормально.

Установка Ollama

Начнём с установки «двигателя» — Ollama. Сначала поставим её на сервер или компьютер, затем проверим, что она работает.

Linux (Ubuntu / Debian)

  1. Подключитесь к серверу по SSH или откройте терминал на своём Linux-компьютере.
  2. Скопируйте следующую команду целиком:
curl -fsSL https://ollama.com/install.sh | sh
  1. Вставьте команду в терминал и нажмите Enter.
  2. Подождите, пока установка завершится. Терминал сам покажет прогресс.
  3. После установки введите команду:
ollama --version

Если вы видите версию или справку по команде, значит Ollama установилась успешно.

Windows и macOS

На Windows и macOS можно скачать установщик с официального сайта Ollama. Процесс похож на установку обычной программы: скачали файл, запустили, несколько раз нажали «Далее» и «Установить».

После установки откройте PowerShell или Terminal и введите команду ollama. Если программа отвечает и показывает подсказку, всё в порядке.

Скачивание первой модели

Теперь нужно поставить саму модель. Без неё Ollama — просто пустая оболочка. Мы возьмём популярную модель и проверим, что она запускается.

Шаг 1. Выбор модели

Самый простой способ — ввести команду вида:

ollama run llama3

Здесь llama3 — название модели. Можно заменить её на mistral, gemma или другую, если вы знаете, что хотите попробовать.

Шаг 2. Загрузка

  1. Вставьте команду в терминал.
  2. Нажмите Enter.
  3. Подождите. Ollama скачает модель — это может занять от нескольких минут до десятков минут, в зависимости от размера и скорости сети.

Шаг 3. Проверка работы

После загрузки терминал предложит вам ввести текст. Напишите, например:

Привет. Кратко расскажи, что ты умеешь.

Если вы видите ответ — значит модель работает локально.

Установка Open WebUI через Docker

Теперь добавим к нашему «двигателю» удобную панель управления. Для этого мы развернём Open WebUI в Docker-контейнере.

Шаг 1. Установка Docker

Если Docker ещё не установлен, его ставят стандартным способом для вашей операционной системы. На Ubuntu это обычно несколько команд из официальной документации, вот прямая ссылка на официальный сайт: https://www.docker.com/

Шаг 2. Запуск Open WebUI одной командой

После установки Docker можно запустить Open WebUI так:

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Эта команда делает несколько вещей:

  • скачивает образ Open WebUI;
  • создаёт контейнер с именем open-webui;
  • открывает порт 3000 для доступа из браузера;
  • создаёт постоянное хранилище настроек.
Если вы выполняете команду на домашнем ПК, доступ к интерфейсу будет по адресу http://localhost:3000. Если на удалённом сервере, то по адресу http://IP_сервера:3000.

Как связать Open WebUI и Ollama

Open WebUI нужно «сказать», где искать Ollama. Обычно они находятся на одной машине, но нужно указать правильный адрес.

Шаг 1. Убедиться, что Ollama запущена

ollama serve

После этой команды Ollama начинает слушать запросы на порту 11434. Это стандартный порт.

Шаг 2. Настройка подключения в Open WebUI

  1. Откройте браузер и зайдите на страницу Open WebUI (порт 3000).
  2. При первом входе создайте пользователя и войдите в систему.
  3. Перейдите в раздел настроек администратора (Admin Settings).
  4. Найдите пункт, связанный с подключением Ollama.
  5. Укажите адрес сервиса:
http://host.docker.internal:11434

Для некоторых систем вместо host.docker.internal используют IP-адрес самой машины, например http://127.0.0.1:11434.

Первый вход через браузер

Когда всё настроено, можно перейти к лучшей части — общению с нейросетью в веб-интерфейсе.

  1. Откройте браузер на своём компьютере.
  2. Введите в адресной строке:
http://localhost:3000

Если Open WebUI запущен на удалённом сервере, вместо localhost вставьте IP-адрес сервера.

  1. Зайдите в интерфейс и выберите раздел с чатами.
  2. Выберите модель, которую вы скачали через Ollama.
  3. Напишите в поле ввода простой запрос: например, попросите модель описать ваш любимый город.
  4. Нажмите Enter и дождитесь ответа.
Если Open WebUI не видит модели, вернитесь к разделу настроек подключения и проверьте адрес, порт и то, что Ollama действительно запущена.

Частые ошибки и как их решить

  • Ошибка 1. Docker говорит, что порт занятВероятно, на этом порту уже работает другая программа. Можно либо остановить её, либо выбрать другой порт в команде запуска (например, 4000 вместо 3000).
  • Ошибка 2. Open WebUI не видит OllamaПроверьте, запущена ли Ollama командой ollama serve. Убедитесь, что адрес подключения в настройках Open WebUI совпадает с адресом службы.
  • Ошибка 3. Модель не скачивается из OllamaПроверьте интернет-соединение и свободное место на диске. Если вы видите ошибки в терминале, внимательно прочитайте текст — иногда там прямо указано, что именно не так.
  • Ошибка 4. Всё работает, но очень медленноНа слабых серверах модели будут отвечать медленнее. Попробуйте выбрать более лёгкую модель или уменьшить параметры контекста в Open WebUI.
Перейти к установке → Open WebUI
Нужна помощь?

Развернём локальную LLM на вашем сервере под ключ

Поднимем Ollama и Open WebUI на вашем VPS или ПК, подберём модель под ресурсы, настроим доступ через браузер и безопасность. Пишите — ответим и поможем.

выполнено с любовью и с помощью ИИ
IDEIPRO.RU

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Почему интерфейсы искусственного интеллекта в здравоохранении должны адаптироваться к опыту пользователей? Новости робототехники Intel присоединится к Terafab — проекту Илона Маска по производству чипов для гуманоидных роботов и космических дата-центров Архив рубрики ~Лента новостей~ Компания Suno надеется легализовать использование водяных знаков для музыки, созданной с помощью искусственного интеллекта. Новости робототехники Ваш любимый робот-пылесос был запрещен Федеральной комиссией по связи (FCC)? Что нам известно. Новости робототехники Создание роботов, которые выживают на складе Архив рубрики ~Лента новостей~ Компания OpenAI заявила, что замедлила разработку модели Astra из-за опасений по поводу безопасности. Архив рубрики ~Лента новостей~ GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1) Архив рубрики ~Лента новостей~ Модель PRISM2 использует клинический диалог для интерпретации патологических препаратов. Архив рубрики ~Лента новостей~ Китайская DeepSeek разрабатывает собственный ИИ-чип, чтобы снизить зависимость от решений Nvidia — Reuters Архив рубрики ~Лента новостей~ Четыре агента ИИ, координирующие действия в реальном времени, превзошли Claude Opus 4.8 в задачах корпоративного программирования. Архив рубрики ~Лента новостей~ Компания Anthropic разработает собственное оборудование для питания Claude. Архив рубрики ~Лента новостей~ Этот стильный нуарный детектив на Apple TV — незаслуженно забытая жемчужина научной фантастики. Новости робототехники Avatar Robotics собирает начальный раунд для решения проблем с рабочей силой в промышленности Архив рубрики ~Лента новостей~ Cloudflare запускает Kitesurf, браузер, созданный для агентов искусственного интеллекта. Архив рубрики ~Лента новостей~ Почему интерфейсы искусственного интеллекта в здравоохранении должны адаптироваться к опыту пользователей? Новости робототехники Intel присоединится к Terafab — проекту Илона Маска по производству чипов для гуманоидных роботов и космических дата-центров Архив рубрики ~Лента новостей~ Компания Suno надеется легализовать использование водяных знаков для музыки, созданной с помощью искусственного интеллекта. Новости робототехники Ваш любимый робот-пылесос был запрещен Федеральной комиссией по связи (FCC)? Что нам известно. Новости робототехники Создание роботов, которые выживают на складе Архив рубрики ~Лента новостей~ Компания OpenAI заявила, что замедлила разработку модели Astra из-за опасений по поводу безопасности. Архив рубрики ~Лента новостей~ GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1) Архив рубрики ~Лента новостей~ Модель PRISM2 использует клинический диалог для интерпретации патологических препаратов. Архив рубрики ~Лента новостей~ Китайская DeepSeek разрабатывает собственный ИИ-чип, чтобы снизить зависимость от решений Nvidia — Reuters Архив рубрики ~Лента новостей~ Четыре агента ИИ, координирующие действия в реальном времени, превзошли Claude Opus 4.8 в задачах корпоративного программирования. Архив рубрики ~Лента новостей~ Компания Anthropic разработает собственное оборудование для питания Claude. Архив рубрики ~Лента новостей~ Этот стильный нуарный детектив на Apple TV — незаслуженно забытая жемчужина научной фантастики. Новости робототехники Avatar Robotics собирает начальный раунд для решения проблем с рабочей силой в промышленности Архив рубрики ~Лента новостей~ Cloudflare запускает Kitesurf, браузер, созданный для агентов искусственного интеллекта.

Оставить комментарий