RAG для новичков — как нейросеть отвечает по вашим документам, а не выдумывает

Закинул договор на сто страниц в чат — и кажется, что нейросеть теперь его знает наизусть, прочитала и запомнила, как человек. И это самая логичная версия для обывателя. Но (барабанная дробь) модель ничего не запоминает. Она держит в поле зрения только то, что влезло в текущий диалог — а как только контекст переполняется, старое вымывается первым.

Отсюда, собственно, типичная жалоба — вот спросили про третий раздел, а модель отвечает про первый. Или путает два разных файла. И тут дело не в том, что нейросеть тупит с длинными текстами. Дело в том, что без отдельного механизма она не ищет по документу — она угадывает по тому, что ещё держится в контексте.

Вот тут появляется RAG — retrieval-augmented generation. Расшифровку можно не запоминать. Суть в другом.

RAG находит нужный кусок текста до того, как модель начнёт отвечать. Механизм очень простой — документ один раз загружается в отдельное хранилище, там его режут на фрагменты и индексируют. Каждый новый вопрос система не пытается впихнуть весь файл в диалог — она ищет в хранилище конкретные куски, релевантные именно этому вопросу, и подгружает только их. Модели для ответа нужны не тысяча страниц, а три-четыре абзаца по теме.

Отсюда и следствие для вас как пользователя. Можно работать с огромными документами, при этом ответы получаются точнее — модель отвечает по найденному тексту, а не по общим знаниям из обучения, которые вообще могли не иметь отношения к вашему файлу.

Разница, кстати, ощущается быстро. Без поиска по документам диалог плывёт: вставили текст, модель ответила в моменте, через десять сообщений про файл она уже не помнит. С поиском по документам — каждый ответ собирается заново из найденных фрагментов, вне зависимости от того, сколько сообщений прошло до этого.

Программировать не нужно — RAG уже работает у многих готовых сервисов для работы с документами. Загружаете файл, сервис сам его индексирует, а дальше просто задаёте вопросы. Настройками поиска заниматься не приходится.

А вот что приходится — следить за качеством самого документа. Скан с кривым распознаванием текста, таблицы, свёрстанные картинками, файл без внятной структуры — всё это портит поиск фрагментов. И тогда модель отвечает мимо, даже если сама по себе мощная и в другой ситуации справилась бы без проблем.

Есть и нелогичный на первый взгляд момент — чем больше документов накидано «на всякий случай», тем хуже точность. Пятьдесят разношёрстных файлов в одной базе работают заметно хуже, чем пять релевантных — система начинает находить более шумные и менее точные совпадения, когда база разрослась без разбора. Неудобно, но так есть.

Ждет, что документ «прочитан и запомнен» целиком, как человек бы прочитал. На деле каждый ответ собирается заново из фрагментов, и если вопрос сформулирован расплывчато — найдутся не те куски.

Спрашивает слишком широко: «расскажи, что в документе» вместо «что написано про сроки оплаты в разделе три». Чем конкретнее вопрос, тем точнее система найдёт нужный фрагмент. Тот же принцип, что и с обычным промптом — только тут ищется не формулировка ответа, а сам источник данных.

И реже замечает, что многие сервисы показывают, из какого именно места документа взята цитата. Этим стоит пользоваться, а не доверять ответу вслепую — особенно если речь о договоре, инструкции или чём-то, где цена ошибки выше, чем просто неловкость.

Оговорка тут уместна сразу, а не в конце. Качество поиска зависит от конкретного сервиса, и разброс между ними бывает существенным — один и тот же документ два разных инструмента разберут по-разному.

Если работаете с парой файлов и вопросы конкретные — разницу почувствуете с первого запроса. Если документов много и структура файлов хаотичная — готовьтесь сначала навести порядок в самих файлах, а уже потом разбираться, почему ответы неточные.