Раскрыть потенциал эксперта: философия построения корпоративной системы RAG.

Enterprise Document Intelligence [Том 1 #M1] – Тезис, включения в основе каждого беспроводного решения в этой серии.

Делиться

Эта статья — манифест Enterprise Document Intelligence, серия публикаций, в которой из четырех компонентов строится корпоративная система RAG (Research, Anxiety, Google Data): анализ документов, анализ вопросов, поиск и генерация документов.

📓 Запускаемые блокноты доступны на GitHub: doc-intel/notebooks-vol1. п>

вам нужно изменить одну идею из этой серии, а именно: корпоративная система RAG направляет потенциальные эксперты, а не заменяет их. В этой статье тезис заложен в самом начале, прежде чем описывать методы, поскольку все основные статьи вытекают из него.

Большинство архитектурных ошибок в производстве RAG происходят из-за того, что об этом забывают. Как только вы это примете, остальная часть серии перестанет быть простым каталогом приемов и начнет выглядеть как связный аргумент. RAG, которые расширяют возможности внешних экспертов, коммерческих со своими собственными документами, а не создание универсальных систем анализа документов, которые бы их заменили.

Замысел кажется скромным, но он меняет большинство архитектурных решений. Задача системы — масштабировать обсуждения, которые уже существуют в легкой форме: юрист, прочитавший тысячи контрактов, андеррайтер, который рефлексивно тянется к пункту о франшизе, сотрудник отдела комплаенса, который знает, о каком предложении спросит аудитор. Эти люди — источник истины. Система обрабатывает большие объемы данных, находит фрагменты за секунды, система сравнивает документы. Она не претендует на звание эксперта.

Все остальные позиции, защищаемые в серии, вытекают из этого тезиса. Векторные хранилища являются резервными, поскольку эксперт уже знает ключевые слова. Определенные диспетчеры превосходят автономных агентов, потому что эксперту необходимо проверить, что произошло. Экспертные словари превосходят точно настроенные эмбеддинги, потому что словарь эксперта богаче, чем любая формула IDF или векторное пространство, может его захватить.Большинство предприятий работают в двух параллельных реальностях с одними и теми же документами: непрозрачный конвейер векторного хранения данных, созданное ИТ-подразделение, и эксперт, который до сих пор по-прежнему использует Ctrl+F для поиска, потому что ничто из того, что было заявлено ИТ-подразделением, не вызывало у него доверия. Последовательные служители связующим звеном между двумя реальностями.

Со стороны ИТ-специалистов, в соответствии с исходными источниками и докладами на конференциях, каждый документ необходимо разбить на фрагменты, поместить в векторную хранилище, внедрить каждый запрос и надеяться, что косинусное сходство найдет нужный фрагмент. Они создают систему, запускают ее, и если их спросить, почему именно тот или иной фрагмент был получен, то они смогут ответить лишь немногие. Архитектура остается непрозрачной даже для тех, кто ее внедрил.

Эксперты же, основываясь на многолетнем опыте чтения, читают тысячи документов. Юристы, прочитавшие тысячи контрактов. Страховщики, просчитавшие цены на десять тысяч полисов. Специалисты по соблюдению нормативных требований, могут назвать пункт договора, о котором спросит аудитор, еще до его дохода. Спросите их, как они искали информацию в документе. Честный ответ почти всегда один и тот же. Они открывают PDF-файл, нажимают Ctrl+F, вводят ключевое слово, как они знают, работает в их корпусе документов, и находят нужный фрагмент. Если ключевое слово отсутствует, они переходят к содержанию, находят нужный раздел и просматривают его быстро. Этот метод поиска, к которому пришли результаты опыта.

Разрыв не является безобидным. Система IT-лагерей непрозрачна даже для тех, кто ее создал; метод экспертных лагерей точен, но не масштабируем. Естественным шагом в этой серии является их объединение: взять метод, которому эксперт уже доверяет (поиск по ключевым словам, основанный на первом словаре, а затем навигация по главному слову, если ключевые слова не найдены), и использовать LLM для его масштабирования. LLM теперь достаточно сильны, чтобы на этапе поиска не требовалось больше сложных решений для конструкции. Рефлекс 2022 года, когда на поверхности слабой модели формируются накладки приемы встраивания, решил проблему, которая больше не существует с той же формой. Поиск может приблизиться к естественному рабочему процессу эксперта без потерь качества ответов. На вопрос можно ответить двумя методами, и это не одна и та же операция:

• Из параметрической модели памяти. Вы задаёте вопрос, модель отвечает, шаг первый. Это чат-бот, и для базы знаний этого достаточно.
• Из документа.Два этапа, которые следует разделить. Сначала находится фрагмент текста по ключевым словам, как эксперт использует Ctrl+F, без передачи модели исходного вопроса. Только после этого дается ответ на вопрос, с использованием документа, не обучающей модели.

Работа на предприятии — это второй случай, и в рамках части процесса этих двух этапов разделения.

Точный метод копирования эксперта — это не просто косметический эффект. Дело не в том, что векторные резервы ошибочны; дело в том, что использование метода, который эксперт не может распознать, в документах, которые эксперт знает, — это самый быстрый способ потерять его доверие. Без доверия система не используется, система, которая не используется, не имеет никаких ценностей, независимо от того, насколько впечатляюще выглядят ее результаты в тестах. RAG повторяется в точности измерения базового машинного обучения 2015-2020 годов. Тот же рефлекс по копированию решений поставщиков, у меня одни и те же общие шаблоны, у меня одинаковые чувства сбоев. То, что работало тогда и будет работать для RAG сейчас, — это работа в конкретной области, основанная на имеющемся опыте.

В период с 2015 по 2020 год предприятие пыталось создать системы машинного обучения, копируя Google, DeepMind и Facebook. Лозунгом было «Создайте модель, которая учится». Большинство корпоративных проектов машинного обучения до сих пор не дошли до стадии обслуживания в производстве. Gartner оценил этот показатель примерно в 85% в 2019 году, и специалисты, пережившие это волнение, приводят цифры в том же смысле. Каждый раз они терпели неудачу по одной и той же причине. У корпоративных компаний нет масштабов данных, как у Google. У них нет исследовательских групп. У них нет неограниченных вычислительных бюджетов. У них нет широких возможностей для применения, которые оправдывали бы универсальные подходы.

В корпоративном машинном обучении сработала работа, ориентированная на конкретную предметную область. Актуарное прогнозирование, адаптированное под здравоохранение. Классификация документов, откалиброванная на основе внутреннего словаря. Оценка риска, использующая переменные, которые эксперты в данной области уже определили как прогностические. Ценные системы, основанные на существующем опыте, а не мы, которые пытались изучить его с нуля.

RAG повторяет эту же самую нижнюю схему. Предприятия копируют OpenAI, подключают свои данные к универсальным управляемым продуктам RAG, векторизуют всё по умолчанию. Причины неудач те же, что и в десятилетие машинного обучения: слишком много обобщений, недостаточная привязка к предметной области, отсутствие ответов в случаях, которые не были учтены эталонными показателями. Альтернатива — тот же ответ, который работал десять лет назад: RAG, ориентированный на конкретную предметную область. Кодифицировать уже существующую экспертизу. Используйте документы, которые уже известны комиссии. Усиливать вклад эксперта, а не обходить его пропуском.

Эта параллель важна из-за ограничений. Она вводила тонкий аргумент в историческую презентацию (мы видели этот фильм). И она приводит аргументу конструктивную основу (мы не против OpenAI; мы говорим, что траектория развития сохранялась, и альтернатива — это идея с учетом нашего контекста, а не их).Данная гипотеза не является универсальной. Четыре контекстных свойства определяют, подойдут ли вам этот сериал. Если все четыре свойства будут выполнены, архитектура будет соответствовать своему месту; если один из них отсутствует, лучше подойдет другой угол обзора.

Эти четыре свойства:

• Контекст документа известный.Система развертывается на уровне документов низкого уровня, структуры, лексики и правил, которые установлены: договоры страхования, медицинские карты, юридические соглашения, нормативные документы, финансовая отчетность, технические характеристики. Знания предметной области являются входными данными для систем, а не чем-то, что она должна объяснить.
• Эксперты в предметной области существуют и доступны. Команда, развивающая система, может общаться с людьми, которые эффективно используют документы. Эти эксперты знают лексику, где хранятся все типы информации, какие ключевые слова извлекают какие предложения, какие вопросы наиболее важны. Эта экспертиза кодируется в системе, а не определена на основе универсальных моделей.
• Цель — модифицированная, а не замена. Эксперт продолжает существовать и после выпуска системы. Система помогает ему обрабатывать большие объемы информации, которые он не мог обработать вручную, и находить информацию за секунды, а не за пятнадцать минут. Позиция техническая (современный ИИ не может надежно заменить экспертное мнение в сложных случаях) и операционная (эксперты не хотят, чтобы их заменяли, а системы, которые делают вид, что это не так, отвергаются). данные должны быть отслеживаемыми, ответы, ответы должны сохранять ссылки на источники, должны быть объяснимыми, поведение должно быть воспроизводимым. Система, которую эксперт не может проверить, — это система, которую он не будет использовать.

Эти четыре пункта справедливы для большинства видов работы с корпоративными документами. Страховые брокеры, юридические фирмы, больницы, банки, уведомления, любая организация, где эксперты работают со структурированными документами, обращаются под пристальным вниманием регулирующих органов.

Там, где это не применимо. Вопросы и ответыв открытой предметной области через Интернет, чат с потребителями, исследование корпуса, где нет эксперта, ситуации, когда вопросы не ограничены. В таких случаях более целесообразны универсальный поиск и автономные агенты. Компромисс меняется: вы жертвуете проверкой и воспроизводимостью, но у вас также нет эксперта, который бы использовал и то, и другое. Это разные проблемы, и архитектура должна быть другой. Позиция принципа оправдана именно потому, что он признает, где она неприменима.

5. Три основополагающих принципа

Усиление экспертного уровня преобразований в коде, охватывающего три дисциплины: выбор методы, которые обнаруживает эксперт, построение пирамидальной структуры, которую начинающий инженер может отслеживать за один раз, и использование реляционных таблиц (не строк) для каждой стыке элементов. src=»https://contributor.insightmediagroup.io/wp-content/uploads/2026/06/image-342-1024×529.png» alt=»» class=»wp-image-669955″/>

Парсинг имитирует то, как эксперт просматривает документ при первом прочтении: определяет тему, находит список разделов, определяет цифру. Парсер выполнил эту проверку один раз и сохранил результат. Все, что было допущено на этом этапе, невозможно восстановить на этапах, что делает синтаксический анализ важным этапом в конвейере обработки данных.

• Статья 5А (читать в PDF-файле): сигналы документа и краткое изложение в одном абзаце.
• Статья 5Б (реляционная модель данных): соедините таблицы, составные парсером ( line_df , toc_df , …)
• Более мощные движки, когда fitz не можно увидеть освещение: 5bis (Azure DI), 5ter (Docling), 5quater (vision), 5quinquies (EasyOCR).
• Статья 5sexies (анализ изображений): изображения, доступные для поиска.
• Статья 5septies (реконструкция TOC): перестроить toc_df
• Статья 10 (адаптивный синтаксический анализ): выбор движка по запросу
• Статья 11 (перекрестные ссылки): когда в ответе указано «см. Раздел X»

Анализ вопросов имитирует рефлекс Ctrl-F: эксперт начинает с ввода двух или трех ключевых слов. Блокирует сохранение их и преобразование по круговым осям, включенным для Ctrl-F (совместное появление и расширение экспертного словаря), а затем разделяет вопрос на поисковый запрос и запрос на генерацию, которые блоки блоки обрабатывают отдельно. в разборе

Поиск идентифицирует классификацию, которую проводит эксперт после того, как Ctrl-F выдает тридцать результатов: отбрасываются не связанные с темой, о которых называют те немногие, зарабатывающие повторное внимание. Этот механизм работает в масштабе и наблюдает три фактора, которые исключаются при «поиске лучших результатов»: якорь (место, куда происходит совпадение), поиск области (что используется для генерации) и контекст (окружающая среда, которую эксперт внимательно читает). Критерием является «набор, зарабатывающий повторного просмотра человеком», а не «поиск к лучшим результатам по косинусу».

• Статья 7 (возврат): рамки
• Статья 7А (получение данных как фильтрация): фильтр по line_df и toc_df
• Статья 7B (обнаружение якоря): аналитические детекторы, один вызов LLM в конце.
• Статья 7C (арбитр) программа LLM): выбирает окончательного кандидата, обосновывая свой выбор.
• Статья 12 (перечисление): когда ответом являются все совпадения, а не одно и то же.

Генерация– это основа дисциплины, направленной против фальсификации: точное переформулирование того, что говорится в полученном тексте, плюс ссылка для подтверждения, никогда не перефразирование, отклоняющееся от нормы. LLM заполняет типизированную пидантическую диаграмму (ответ, ссылки на строки, answer_found , confidence , caveats ), которую эксперт руководит, формулирует схему и подсказку.

• Статья 8а (договор об ответе): печатный ответ с источниками источников и самопроверкой.
• Статья 8b (сборка подсказки): подсказка + схема + трассировка из разобранного вопрос
• Статья 8c (проверка): валидатор и петля обратной связи, замыкающая конвейер.
• Статья 13 (конвейер процесса): соединить четыре модернизированных блока в один.
• Статья 9 (модернизированный трубопровод): базовый вариант статьи 1 (минимальный RAG), современный шаг за шаг.

Каждый блок придерживается одной и той же дисциплины: структурированный ввод, структурированный вывод, наличие «строчного супа» на любом этапе. Это делает систему доступной для запросов, аудита, передачи и объединения данных, накапливаемых в течение многих лет для просмотра вопросов и ответов. Часть IV (статья 14: проблема корпуса, 15: подготовка корпуса, 16: онтология, 17: запрос к корпусу) показывает, во что превращаются те же четыре блока в масштабе корпуса, с SQL-подобным corpus_index, онтологией в пяти реляционных таблицах и обеспечении качества на уровне корпуса. Часть V (статья 18: архитектура кода, 19: хранение, 20: 21: стоимость и задержка, 22: безопасность), делающая архитектуру работоспособной на протяжении многих лет.

7. Что следует из тезиса?

В серии статей начинаются шесть контрпозиций против консервативной тактики RAG. Это не стилистические решения: машина из них механически вытекает из тезиса, как только повторяет четыре условия контекста.

• Если эксперты знают ключевые слова, хранилище векторных данных не может быть . Оно служит резервным действием на случай, если словарь пропустил какой-либо псевдоним.
• Если векторные представления полезны для поиска синонимов, то они представляют собой инструмент поиска , результаты работы которого по аппарату в экспертном словаре, а не средство определения исходных данных, которые запрашиваются для каждого вызов. В статье 2 показано, где сходство векторных представлений оказывается наиболее эффективным, а где оно недорого предоставляет сбой; Статья 2bis делает то же самое для кросс-кодировщиков.
• эффективностьто механизму переранж не нужно выполнять работу,, которая бы уже не выполнила вышестоящий фильтр.
• эксперт, если должен проверять каждый ответ, то диспетчер должен быть определен и поддающимся последним , а не автономным циклированием. Статья 13 (конвейер рабочих процессов) — это кирпичик, на котором держится эта дисциплина.
• корпус Если относится к конкретному бизнесу с использованием документов, векторизация всего индексирует шум; структурирование при обработке дает сигнал, который накапливается. Статья 3 содержит аргумент о том, что RAG не является машинным обучением, и инструментарий машинного обучения не решает нашу проблему; Статья 4 сопоставляет методы с безопасностью по соседству (сложность документа, вопросы контроля); В статье 4bis пересчитываются десять производственных ошибок, которые постоянно повторяются в этой области. Это один аргумент с шестью видимыми последствиями.

  8. Источники и дополнительная литература

  Этот эпилог является философской серией. Представление об экспертном суждении как о возобновляемом ресурсе принадлежит Тетлоку и Гарднеру (Суперпрогнозирование, 2015). Философия инструмента как усилителя, напрямую соотносящаяся с архитектурой RAG, принадлежит Норману (Дизайн повседневных вещей, 1988). Статья Anthropic «Создание эффективных агентов» (декабрь 2024 г.) представляет собой отраслевую составляющую того, когда рабочие процессы представляют собой превосходящие агентов. Классическая короткая статья, основанная на критериях «усиление экспертного обсуждения», — это «Ирония автоматизации» Бейнбриджа (1983): чем совершеннее автоматизация, тем важнее вклад человека. Агентные модели, в которых агент по-прежнему использует проверенные элементы, явные эксперты, являются продолжением этой работы. class=»wp-block-list»>

• Тетлок и Гарднер, «Суперпрогнозирование: искусство и наука предсказания», 2015. Экспертная оценка как возобновляемый ресурс; тезисы об усилении экспертного мнения рассматривают экспертов в данной области так же, как Тетлок рассматривает суперпрогнозистов.
• Норман, «Дизайн повседневных вещей», 1988/2013. Инструмент как усилитель, а не как замена; эта философия применима к архитектуре RAG так же, как и к дверным ручкам.
• Антропный, Создание эффективных агентов, декабрь 2024 г. Когда эти агенты LLM работают и побеждают определенные рабочие процессы, матрица принятия решений соответствует философским сериям. истории брокеров-корреспондентов в этой серии являются примерами угроз Карры.
• Бейнбридж, «Ирония автоматизации», «Automatica», 1983. Классическая короткая статья: чем совершеннее автоматизация, тем важнее вклад человека. Философское обоснование принципов «усиление экспертных знаний» как решающего фактора.

Другой ракурс, другой контекст:

• Бостром, «Сверхинтеллект: путь, опасность, стратегии», Oxford University Press, 2014. Наиболее убедительное философское обоснование систем, стремящихся к полной автономии, выходящих за рамки утверждения экспертного мнения. Контекст – долгосрочный искусственный общий интеллект; в этом эпилоге найти работу с корпоративными документами, где доступны эксперты и требуется аудит.
• Яо и др., ReAct: Синергия рассуждений и действий в языковых моделях, ICLR 2023 (arXiv:2210.03629). Агент рассматривает и применяет без маршрутизации, независимого человека. Контекст — выбор инструментов общего назначения; разработка этой линии на основе проверенных блоков, воздействующих экспертом, является процедурой.

Ранее в сериях:

• Документальная разведка: введение в серии. Что представляет собой серия, кирпичик за кирпичиком, и в каком порядке.

Часть I: Что работает, а что ломается

• Базовая модель Предприятие РАГ: из PDF-файла до выделенного ответа. Четырехэтапный конвейер от начала до конца: PDF-файл на входе, выделенный ответ на выходе.
• Вставки — это не магия: выгодные варианты в поиске RAG. Где сходство эмдингов приводит (пользование синонимами, опечатки, перефразирование), где оно выгодно дает сбой (неизвестные термины, отрицательное равнозначие, релевантность термина и ответа) и как его все используют. затраты. Что включает кросс-кодировщик по сравнению со встраиванием на основе двух кодировщиков (измеренные показатели) и когда оправдана задержка.

Часть II: Четыре кирпича

• Помимо функции extract_text: два слоя PDF-файла, определяющие качество RAG. Анализ первой половины блока: характер документа, сигналы и резюме.
• Прекратите вернуться в простой текст из PDF-файлов: RAG нуждается в реляционных таблицах. Анализ второй половины блока: реляционные таблицы, которые читают каждый последующий блок.
  • Если PyMuPDF не видит таблицу: анализ PDF-файлов для RAG с помощью Azure Layout. Те же таблицы из Azure Layout: ячейки ячеек, OCR, ролики абзацев.
  • Анализ PDF-файлов для RAG локально с помощью Docling: расширенные таблицы, без загрузки в облако. Те же таблицы, вычисленные локально с помощью Docling: ячейки TableFormer, ничего не покидает машину.
  • Программное обеспечение для обработки изображений также является парсером PDF-файлов: оно читает диаграммы и схемы для анализа данных. Обработчик изображений: изображения преобразуются в текст, доступный для поиска.
  • Анализ отсканированных PDF-файлов для RAG с помощью EasyOCR: бесплатное распознавание текста Позволяет получить слова, а не документ.
  • Как сделать так, чтобы изображения в PDF-файлах можно было искать по RAG (Research, Goodreads, Acquisition, Reading, Get… Get
  • Восстановление оглавления, которое не было включено в PDF-файл, чтобы RAG мог обработать его по разделам. Перестройка toc_df, если PDF-файл печатает оглавление, но не включает структуру документа.
• Вопросы RAG также необходимы в синтаксическом анализе: необходимо преобразовать форму пользователя в краткое описание для поиска и формирования. Основная идея синтаксического анализа вопросов: почему строка пользователя требуется в том же анализе, что и документ, и как она разделяет краткое описание для поиска и краткое описание для генерации. Пять столбцов семейства, которые анализатор считывает непосредственно из запроса пользователя вместе с кодом, сопровождающим каждого из них.
• Обработка проанализированного вопроса RAG: стратегия обработки фрагментов, уровень модели, активация, аудит. Решения, принятые парсером на основе пользовательской строки с использованием профиля документа: обработка, активация, полная схема, журнал аудита (pipeline_trace.json) и обходы корпуса брокера.
  • Когда пользователи RAG задают расплывчатые вопросы: уточните один раз, а затем запомните значение по умолчанию. Если слишком вопрос расплывчатый, достаточно одного уточнения, значение по умолчанию будет заимствовано из ответа.
• Поиск — это фильтрация, а не поиск: ментальная модель для потребительской RAG. Поиск переосмыслен как фильтрация по line_df и toc_df: якоря малы, контекст велик.
• Обнаружение якорей для RAG: внешние детекторы, затем один вызов LLM в конце (ссылка будет позже). Параллельные детекторы якорей: ключевое слово всегда, встраивания рядом, один вызов LLM в конце.
• Предоставление возможности основного права выбрать правильную страницу RAG: шаблон арбитра в конце поиска (ссылка будет позже). Арбитр из числа магистров права: кандидаты ранжируются по основным причинам, одна из них выводит JSON-данные.
  • Контекстная инженерия: созданный вами конвейер имеет имя (ссылка будет позже). Контекстная инженерия с именем: четыре блока генерируют типизированный контекст, четыре стратегии Лэнса Мартина соответствуют примитивам docintel.

Анджела Ши. Все материалы от Анджелы Ши.

Источник: towardsdatascience.com