Подготовка к получению степени магистра права: практическое руководство по применению RAG в корпоративных базах знаний

Четкая ментальная модель и практическая основа, на которой можно строить дальнейшее развитие.

Делиться

Каждый инженер-программист, занимающийся искусственным интеллектом, хорошо знаком с таким моментом. Вы только что запустили прототип. Демонстрация прошла блестяще. LLM бегло отвечал на вопросы, синтезировал информацию на лету и произвел впечатление на всех присутствующих. Затем кто-то спросил его о политике возврата средств компании, и он уверенно дал неверный ответ, который не соответствовал действительности уже восемь месяцев.

Этот момент — не ошибка модели. Это ошибка архитектуры. И именно эту проблему и призвано решить технология генерации с расширенными возможностями поиска (Retrieval-Augmented Generation, RAG).

В этой статье подробно рассматривается создание готовой к использованию системы RAG для внутренней базы знаний предприятия с использованием полностью открытого программного обеспечения. Мы перейдем от проблемы к проектированию, пройдем каждый этап конвейера и завершим объяснением того, как на самом деле определить, работает ли система. Цель состоит не в том, чтобы охватить все возможные варианты, а в том, чтобы дать вам четкую модель мышления и практическую основу, на которой вы сможете строить свою работу.

Что мы будем обсуждать

1. Почему одних лишь степеней магистра права недостаточно для поиска знаний в масштабах предприятия
2. Архитектура RAG: как два конвейера взаимодействуют друг с другом.
3. Создание конвейера индексирования: загрузка, разбивка на фрагменты, встраивание и хранение.
4. Создание конвейера поиска и генерации: поиск, переранжирование и подсказки.
5. Оценка: измерение качества на каждом этапе, а не только в конце.
6. Там, где заканчивается RAG и начинается тонкая настройка.

Источник: towardsdatascience.com