Мобильный клиент для LM Studio с удаленным доступом

Предисловие. Я тут работаю с lmstusio сервером и мне нужно было приложение на andriod которое бы с ним работало быстро и без всяких дополнительных танцев с бубном. Сделав его я подумал почему бы не предложить другим может кому то же надо. Выглядит он так

ссылка для скачивания https://www.rustore.ru/catalog/app/com.example.lm_studio_client

Работает оно просто. Указываешь ip сервера порт 1234 и можно работать. Настройку самого сервера lmstudio я без проблем можно найти в сети повторять не вижу смысла.

Так же что бы два раза не вставать была решена продляема с тем что lstudio работает только в локальной сети. Можно конечно покинуть порты на машину с белым IP. Но это не всегда возможно и удобно. Для этого был сделан прокси сервер который вешается на машине с белым IP. И теперь решение состоит из двух компонентов: нативного клиента для Android и прокси-сервера на Python.

Архитектура решения

Приложение реализует интерфейс для взаимодействия с LM Studio API. Ключевая особенность — обход ограничения локальной сети через прокси-сервер lmstudio_relay, доступный по адресу:

text

https://github.com/stil-rambler/lmstudio_relay

Функциональность

• Чат-интерфейс для взаимодействия с моделями

• Настройки подключения к серверу LM Studio

• Поддержка работы через ретранслятор

• Нативная реализация под Android

Техническая реализация

Прокси-сервер lmstudio_relay решает проблему доступа к локальному экземпляру LM Studio из внешних сетей. Сервер написан на Python и выполняет роль ретранслятора запросов между мобильным клиентом и локальным сервисом.

Сценарии использования

1. Локальная сеть — прямое подключение к LM Studio

2. Удаленный доступ — подключение через прокси-сервер

3. Мультисерверная конфигурация — поддержка нескольких экземпляров LM Studio

Установка и настройка

1. Установите приложение на Android-устройство

2. Запустите прокси-сервер на хосте с LM Studio:

bash

git clone https://github.com/stil-rambler/lmstudio_relay cd lmstudio_relay # Следуйте инструкциям из README.md

3. Настройте подключение в приложении, указав адрес ретранслятора

Особенности реализации

• Прокси-сервер поддерживает постоянные соединения

• Минимальная задержка при ретрансляции запросов

• Совместимость со стандартным API LM Studio

Решение устраняет основное ограничение LM Studio — привязку к локальной сети, сохраняя при этом всю функциональность desktop-версии.

Системные требования

• Android 8.0+

• LM Studio версии 0.2.9+

• Python 3.8+ (для прокси-сервера)

Код прокси-сервера доступен для аудита и модификации. Приложение находится в активной разработке, прием предложений по улучшению функциональности.

Особенности которые надо учитывать при использовании.

Lmstudio работает в однозапросном режиме. То есть одновременно обрабатывает один запрос. Соответственно если запросов много они будут обрабатываться последовательно.

Прокси сервер lmstudio_relay не защищен от подключения посторонних. Для защищенного подключения нужно использовать lmstudio_relay_aut.py Не забудьте поменять там код доступа :). В приложении его надо вводить в API Key.

Ну как то так.

Источник: habr.com