Как мы вынесли семантический поиск на обычный сервер без видеокарты, облака и выделенной поисковой системы

Когда мы занялись поисковым слоем AI-ассистента в «Первой Форме», договорились на входе: языковую модель, которая отвечает пользователю, не трогаем. Вся эта история — о том, что происходит на шаг раньше: как система решает, что именно показать модели, прежде чем та начнёт отвечать.

Планку себе поставили простую на словах и сложную на деле: семантический поиск промышленного уровня, но без специализированной инфраструктуры, целиком внутри изолированной сети, на том же оборудовании, что и само приложение.

Спойлер: получилось. В статье расскажу, какие решения мы принимали и что перебирали в качестве альтернатив. Но отдельно хочу выделить методику оценки: первые замеры качества нас обманули и увели в неверном направлении, и разбор того, почему так вышло, — возможно, самая полезная часть этого текста.

Читать далее

Источник: habr.com