Архив рубрики ~Полезное~

Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI

1
Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI
Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI
IDEIPRO · Локальный ChatGPT на сервере

Как развернуть локальную LLM на сервере: подробный гайд по Ollama и Open WebUI

В этой статье мы простыми словами разберём, как запустить локальную языковую модель (LLM) на сервере или домашнем ПК. Мы установим Ollama, поднимем веб-интерфейс Open WebUI и сделаем из этого «свой ChatGPT» с доступом через браузер.

Для когоНовички, владельцы VPS, админы, разработчики, авторы сайтов.
Что получитсяСвой локальный чат-бот, работающий на сервере, без внешнего API.
Что нужноСервер или ПК с Linux/Windows/macOS и базовый доступ к терминалу.

Зачем нужен Ollama и Open WebUI

Ollama — это программа, которая умеет запускать большие языковые модели локально: у вас на компьютере или на сервере. Open WebUI — это удобный веб-интерфейс к этим моделям: вы открываете браузер, заходите на страницу и общаетесь с нейросетью как с ChatGPT.

Такой набор особенно полезен, когда вы не хотите отправлять данные во внешние сервисы, хотите держать ИИ ближе к своим системам или просто любите всё контролировать сами.

Простое объяснение. Ollama — «двигатель» нейросети, Open WebUI — «передняя панель» с полем для ввода и ответами.

Что нужно от сервера или компьютера

Чтобы всё работало, важно понимать, что языковые модели требуют ресурсов. Но нам не нужен суперкомпьютер: для стартового варианта подойдёт обычный VPS или домашний ПК.

ПараметрМинимум для стартаКомфортный уровень
Оперативная память8 ГБ16–32 ГБ
Свободное место на диске20–30 ГБ50–100 ГБ SSD
ВидеокартаМожно без GPUОт 8 ГБ видеопамяти
ОС сервераUbuntu / Debian / другая LinuxЛюбой стабильный Linux с Docker

Что важно для новичка

  • Иметь SSH-доступ к серверу или уметь открывать терминал на своём ПК.
  • Понимать, как копировать команды и вставлять их в терминал.
  • Не бояться, если терминал выводит много текста — это нормально.

Установка Ollama

Начнём с установки «двигателя» — Ollama. Сначала поставим её на сервер или компьютер, затем проверим, что она работает.

Linux (Ubuntu / Debian)

  1. Подключитесь к серверу по SSH или откройте терминал на своём Linux-компьютере.
  2. Скопируйте следующую команду целиком:
curl -fsSL https://ollama.com/install.sh | sh
  1. Вставьте команду в терминал и нажмите Enter.
  2. Подождите, пока установка завершится. Терминал сам покажет прогресс.
  3. После установки введите команду:
ollama --version

Если вы видите версию или справку по команде, значит Ollama установилась успешно.

Windows и macOS

На Windows и macOS можно скачать установщик с официального сайта Ollama. Процесс похож на установку обычной программы: скачали файл, запустили, несколько раз нажали «Далее» и «Установить».

После установки откройте PowerShell или Terminal и введите команду ollama. Если программа отвечает и показывает подсказку, всё в порядке.

Скачивание первой модели

Теперь нужно поставить саму модель. Без неё Ollama — просто пустая оболочка. Мы возьмём популярную модель и проверим, что она запускается.

Шаг 1. Выбор модели

Самый простой способ — ввести команду вида:

ollama run llama3

Здесь llama3 — название модели. Можно заменить её на mistral, gemma или другую, если вы знаете, что хотите попробовать.

Шаг 2. Загрузка

  1. Вставьте команду в терминал.
  2. Нажмите Enter.
  3. Подождите. Ollama скачает модель — это может занять от нескольких минут до десятков минут, в зависимости от размера и скорости сети.

Шаг 3. Проверка работы

После загрузки терминал предложит вам ввести текст. Напишите, например:

Привет. Кратко расскажи, что ты умеешь.

Если вы видите ответ — значит модель работает локально.

Установка Open WebUI через Docker

Теперь добавим к нашему «двигателю» удобную панель управления. Для этого мы развернём Open WebUI в Docker-контейнере.

Шаг 1. Установка Docker

Если Docker ещё не установлен, его ставят стандартным способом для вашей операционной системы. На Ubuntu это обычно несколько команд из официальной документации, вот прямая ссылка на официальный сайт: https://www.docker.com/

Шаг 2. Запуск Open WebUI одной командой

После установки Docker можно запустить Open WebUI так:

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Эта команда делает несколько вещей:

  • скачивает образ Open WebUI;
  • создаёт контейнер с именем open-webui;
  • открывает порт 3000 для доступа из браузера;
  • создаёт постоянное хранилище настроек.
Если вы выполняете команду на домашнем ПК, доступ к интерфейсу будет по адресу http://localhost:3000. Если на удалённом сервере, то по адресу http://IP_сервера:3000.

Как связать Open WebUI и Ollama

Open WebUI нужно «сказать», где искать Ollama. Обычно они находятся на одной машине, но нужно указать правильный адрес.

Шаг 1. Убедиться, что Ollama запущена

ollama serve

После этой команды Ollama начинает слушать запросы на порту 11434. Это стандартный порт.

Шаг 2. Настройка подключения в Open WebUI

  1. Откройте браузер и зайдите на страницу Open WebUI (порт 3000).
  2. При первом входе создайте пользователя и войдите в систему.
  3. Перейдите в раздел настроек администратора (Admin Settings).
  4. Найдите пункт, связанный с подключением Ollama.
  5. Укажите адрес сервиса:
http://host.docker.internal:11434

Для некоторых систем вместо host.docker.internal используют IP-адрес самой машины, например http://127.0.0.1:11434.

Первый вход через браузер

Когда всё настроено, можно перейти к лучшей части — общению с нейросетью в веб-интерфейсе.

  1. Откройте браузер на своём компьютере.
  2. Введите в адресной строке:
http://localhost:3000

Если Open WebUI запущен на удалённом сервере, вместо localhost вставьте IP-адрес сервера.

  1. Зайдите в интерфейс и выберите раздел с чатами.
  2. Выберите модель, которую вы скачали через Ollama.
  3. Напишите в поле ввода простой запрос: например, попросите модель описать ваш любимый город.
  4. Нажмите Enter и дождитесь ответа.
Если Open WebUI не видит модели, вернитесь к разделу настроек подключения и проверьте адрес, порт и то, что Ollama действительно запущена.

Частые ошибки и как их решить

  • Ошибка 1. Docker говорит, что порт занятВероятно, на этом порту уже работает другая программа. Можно либо остановить её, либо выбрать другой порт в команде запуска (например, 4000 вместо 3000).
  • Ошибка 2. Open WebUI не видит OllamaПроверьте, запущена ли Ollama командой ollama serve. Убедитесь, что адрес подключения в настройках Open WebUI совпадает с адресом службы.
  • Ошибка 3. Модель не скачивается из OllamaПроверьте интернет-соединение и свободное место на диске. Если вы видите ошибки в терминале, внимательно прочитайте текст — иногда там прямо указано, что именно не так.
  • Ошибка 4. Всё работает, но очень медленноНа слабых серверах модели будут отвечать медленнее. Попробуйте выбрать более лёгкую модель или уменьшить параметры контекста в Open WebUI.
Перейти к установке → Open WebUI
Нужна помощь?

Развернём локальную LLM на вашем сервере под ключ

Поднимем Ollama и Open WebUI на вашем VPS или ПК, подберём модель под ресурсы, настроим доступ через браузер и безопасность. Пишите — ответим и поможем.

выполнено с любовью и с помощью ИИ
IDEIPRO.RU

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ 5 ошибок менеджера, внедряющего ИИ Архив рубрики ~Лента новостей~ Конец эпохи «дешевых промптов»: как ИИ-инфляция меняет правила игры для бизнеса Архив рубрики ~Лента новостей~ Директор Amazon по искусственному интеллекту заявил на конференции VB Transform 2026, что не возможности ИИ-агентств препятствуют их внедрению в корпоративной среде из-за низкой надежности. Архив рубрики ~Лента новостей~ Как мы вынесли семантический поиск на обычный сервер без видеокарты, облака и выделенной поисковой системы Архив рубрики ~Лента новостей~ Обсерватория Einstein Probe заметила слияние шести галактик в центре скопления галактик. Это крайне редкое явление в Местной Вселенной Новости робототехники Страх перед человекоподобными роботами подтолкнул рабочих к забастовке на автомобильном заводе Hyundai. Новости робототехники Основатель Максимо рассказывает, как робототехника строит строительство солнечной энергетики. Архив рубрики ~Лента новостей~ Европейский ИИ: что там вообще происходит? Архив рубрики ~Лента новостей~ «Яндекс Путешествия» запустили раздел для анализа спроса, цен и продаж для отелей Архив рубрики ~Лента новостей~ 2 миллиона токенов против 1 миллиона у OpenAI и Anthropic. Чем Google хочет выиграть гонку AI-флагманов Архив рубрики ~Лента новостей~ Вице-президент Cohere заявил, что для обеспечения суверенитета в сфере корпоративного ИИ необходимо контролировать весь набор агентов на конференции VB Transform 2026. Архив рубрики ~Лента новостей~ Внезапный ProIT Fest 2026 Архив рубрики ~Обо всем~ Астрономы нашли кандидата в самый далекий галактический бар. Он существовал спустя почти 1,2 миллиарда лет после Большого Взрыва Архив рубрики ~Лента новостей~ Линус Торвальдс критикам программирования ИИ в Linux: «Создайте форк. Или просто уйдите». Архив рубрики ~Лента новостей~ 5 ошибок менеджера, внедряющего ИИ Архив рубрики ~Лента новостей~ Конец эпохи «дешевых промптов»: как ИИ-инфляция меняет правила игры для бизнеса Архив рубрики ~Лента новостей~ Директор Amazon по искусственному интеллекту заявил на конференции VB Transform 2026, что не возможности ИИ-агентств препятствуют их внедрению в корпоративной среде из-за низкой надежности. Архив рубрики ~Лента новостей~ Как мы вынесли семантический поиск на обычный сервер без видеокарты, облака и выделенной поисковой системы Архив рубрики ~Лента новостей~ Обсерватория Einstein Probe заметила слияние шести галактик в центре скопления галактик. Это крайне редкое явление в Местной Вселенной Новости робототехники Страх перед человекоподобными роботами подтолкнул рабочих к забастовке на автомобильном заводе Hyundai. Новости робототехники Основатель Максимо рассказывает, как робототехника строит строительство солнечной энергетики. Архив рубрики ~Лента новостей~ Европейский ИИ: что там вообще происходит? Архив рубрики ~Лента новостей~ «Яндекс Путешествия» запустили раздел для анализа спроса, цен и продаж для отелей Архив рубрики ~Лента новостей~ 2 миллиона токенов против 1 миллиона у OpenAI и Anthropic. Чем Google хочет выиграть гонку AI-флагманов Архив рубрики ~Лента новостей~ Вице-президент Cohere заявил, что для обеспечения суверенитета в сфере корпоративного ИИ необходимо контролировать весь набор агентов на конференции VB Transform 2026. Архив рубрики ~Лента новостей~ Внезапный ProIT Fest 2026 Архив рубрики ~Обо всем~ Астрономы нашли кандидата в самый далекий галактический бар. Он существовал спустя почти 1,2 миллиарда лет после Большого Взрыва Архив рубрики ~Лента новостей~ Линус Торвальдс критикам программирования ИИ в Linux: «Создайте форк. Или просто уйдите».

Оставить комментарий