Четкая ментальная модель и практическая основа, на которой можно строить дальнейшее развитие.
Делиться
Каждый инженер-программист, занимающийся искусственным интеллектом, хорошо знаком с таким моментом. Вы только что запустили прототип. Демонстрация прошла блестяще. LLM бегло отвечал на вопросы, синтезировал информацию на лету и произвел впечатление на всех присутствующих. Затем кто-то спросил его о политике возврата средств компании, и он уверенно дал неверный ответ, который не соответствовал действительности уже восемь месяцев.
Этот момент — не ошибка модели. Это ошибка архитектуры. И именно эту проблему и призвано решить технология генерации с расширенными возможностями поиска (Retrieval-Augmented Generation, RAG).
В этой статье подробно рассматривается создание готовой к использованию системы RAG для внутренней базы знаний предприятия с использованием полностью открытого программного обеспечения. Мы перейдем от проблемы к проектированию, пройдем каждый этап конвейера и завершим объяснением того, как на самом деле определить, работает ли система. Цель состоит не в том, чтобы охватить все возможные варианты, а в том, чтобы дать вам четкую модель мышления и практическую основу, на которой вы сможете строить свою работу.
Что мы будем обсуждать
- Почему одних лишь степеней магистра права недостаточно для поиска знаний в масштабах предприятия
- Архитектура RAG: как два конвейера взаимодействуют друг с другом.
- Создание конвейера индексирования: загрузка, разбивка на фрагменты, встраивание и хранение.
- Создание конвейера поиска и генерации: поиск, переранжирование и подсказки.
- Оценка: измерение качества на каждом этапе, а не только в конце.
- Там, где заканчивается RAG и начинается тонкая настройка.
Источник: towardsdatascience.com
