Мобильный клиент для LM Studio с удаленным доступом
Предисловие. Я тут работаю с lmstusio сервером и мне нужно было приложение на andriod которое бы с ним работало быстро и без всяких дополнительных танцев с бубном. Сделав его я подумал почему бы не предложить другим может кому то же надо. Выглядит он так
ссылка для скачивания https://www.rustore.ru/catalog/app/com.example.lm_studio_client
Работает оно просто. Указываешь ip сервера порт 1234 и можно работать. Настройку самого сервера lmstudio я без проблем можно найти в сети повторять не вижу смысла.
Так же что бы два раза не вставать была решена продляема с тем что lstudio работает только в локальной сети. Можно конечно покинуть порты на машину с белым IP. Но это не всегда возможно и удобно. Для этого был сделан прокси сервер который вешается на машине с белым IP. И теперь решение состоит из двух компонентов: нативного клиента для Android и прокси-сервера на Python.
Архитектура решения
Приложение реализует интерфейс для взаимодействия с LM Studio API. Ключевая особенность — обход ограничения локальной сети через прокси-сервер lmstudio_relay, доступный по адресу:
text
https://github.com/stil-rambler/lmstudio_relay
Функциональность
-
Чат-интерфейс для взаимодействия с моделями
-
Настройки подключения к серверу LM Studio
-
Поддержка работы через ретранслятор
-
Нативная реализация под Android
Техническая реализация
Прокси-сервер lmstudio_relay решает проблему доступа к локальному экземпляру LM Studio из внешних сетей. Сервер написан на Python и выполняет роль ретранслятора запросов между мобильным клиентом и локальным сервисом.
Сценарии использования
-
Локальная сеть — прямое подключение к LM Studio
-
Удаленный доступ — подключение через прокси-сервер
-
Мультисерверная конфигурация — поддержка нескольких экземпляров LM Studio
Установка и настройка
-
Установите приложение на Android-устройство
-
Запустите прокси-сервер на хосте с LM Studio:
bash
git clone https://github.com/stil-rambler/lmstudio_relay cd lmstudio_relay # Следуйте инструкциям из README.md
-
Настройте подключение в приложении, указав адрес ретранслятора
Особенности реализации
-
Прокси-сервер поддерживает постоянные соединения
-
Минимальная задержка при ретрансляции запросов
-
Совместимость со стандартным API LM Studio
Решение устраняет основное ограничение LM Studio — привязку к локальной сети, сохраняя при этом всю функциональность desktop-версии.
Системные требования
-
Android 8.0+
-
LM Studio версии 0.2.9+
-
Python 3.8+ (для прокси-сервера)
Код прокси-сервера доступен для аудита и модификации. Приложение находится в активной разработке, прием предложений по улучшению функциональности.
Особенности которые надо учитывать при использовании.
Lmstudio работает в однозапросном режиме. То есть одновременно обрабатывает один запрос. Соответственно если запросов много они будут обрабатываться последовательно.
Прокси сервер lmstudio_relay не защищен от подключения посторонних. Для защищенного подключения нужно использовать lmstudio_relay_aut.py Не забудьте поменять там код доступа :). В приложении его надо вводить в API Key.
Ну как то так.
Источник: habr.com
Оцените материал:
