Внешняя память для LLM: как RAG дает моделям доступ к новым знаниям

Интеграция языковых моделей в реальные бизнес-процессы редко проходит без сюрпризов. В тепличных условиях тестов языковая модель кажется надежным экспертом, но стоит задать ей вопрос о свежей новости или документации компании, как она с невозмутимым видом сгенерирует ложный ответ. Переобучать модель при каждом изменении базы данных — долго, дорого и архитектурно нецелесообразно, а довериться имеющимся способностям LLM было бы слишком рисковано.

Закономерным ответом на эту проблему стал RAG (Retrieval-Augmented Generation) — подход, который дает LLM поисковик по актуальной внешней базе и «заставляет» опираться только на выданный контекст. В этой статье разберем по шагам, как устроен этот механизм, за счет чего минимизируются галлюцинации и где RAG все же дает слабину.

Читать далее

Источник: habr.com