Вашим ИИ-агентам нужен терминал, а не просто база данных векторов.
Бен Диксон
Когда рабочие процессы с использованием агентов дают сбой, разработчики часто предполагают, что проблема кроется в возможностях рассуждений базовой модели. В действительности же основным ограничивающим фактором зачастую является ограниченная информация, предоставляемая интерфейсом поиска.
Исследователи из нескольких университетов предлагают метод, называемый прямым взаимодействием с корпусом (DCI), который позволяет агентам полностью обходить модели встраивания, осуществляя поиск непосредственно в необработанных корпусах с помощью стандартных инструментов командной строки.
Ограничения классического поиска
В классических системах поиска, таких как RAG, документы разбиваются на фрагменты, преобразуются в векторные представления (или эмбеддинги) и индексируются в автономном режиме в векторной базе данных. Когда система ИИ обрабатывает запрос, поисковый механизм фильтрует всю базу данных, чтобы вернуть ранжированный список из «k лучших» фрагментов документов, соответствующих запросу. Все данные должны пройти через этот механизм оценки, прежде чем произойдет какое-либо дальнейшее рассуждение.
Однако современные агентные приложения требуют гораздо большего. «Плотный поиск очень полезен для широкого семантического запоминания, но когда агенту приходится решать многоэтапную задачу, ему часто необходимо искать точные строки, числа, версии, коды ошибок, пути к файлам или редкие комбинации подсказок», — заявили авторы статьи DCI в комментариях, предоставленных VentureBeat. «Именно в этих деталях, относящихся к «длинному хвосту», семантическое сходство может оказаться уязвимым».
В отличие от статического поиска, агенты также должны динамически корректировать свои планы поиска после обнаружения частичных или локализованных свидетельств. Точные лексические ограничения и многоэтапное уточнение гипотез сложно реализовать с помощью семантических извлекателей. Поскольку извлекатель сжимает доступ к информации в один шаг, любые критически важные свидетельства, отфильтрованные поиском по сходству, не могут быть восстановлены позже, независимо от того, насколько развиты возможности агента в области логического мышления. Как объясняют авторы, существующие конвейеры поиска могут стать узким местом, потому что «они слишком рано определяют, что агенту разрешено видеть».
Прямое взаимодействие с корпусом
Этот прямой доступ решает ключевую проблему в корпоративных средах: устаревание данных. Встраиваемые индексы всегда представляют собой снимок определенного момента времени, что требует значительных вычислительных ресурсов и времени для их создания и поддержания.
«Во многих корпоративных средах данные представляют собой нестабильную коллекцию документов. Это ежедневные финансовые отчеты, журналы событий, заявки, изменения кода, файлы конфигурации, хронологии инцидентов и внутренние документы, которые постоянно меняются», — отмечают авторы. DCI позволяет агенту анализировать текущее состояние рабочего пространства, а не вчерашний векторный индекс.
Агент работает в среде, подобной терминалу, где его наблюдения представляют собой необработанные выходные данные инструментов, такие как пути к файлам, найденные фрагменты текста и окружающие строки. Основные инструменты, предоставляемые DCI, немногочисленны, но обладают высокой выразительностью. Агенты используют команды, такие как «find» и «glob», для навигации по структурам каталогов и поиска файлов. Для точного сопоставления они используют «grep» и «rg» для поиска конкретных ключевых слов, шаблонов регулярных выражений и точных строк. Когда требуется локальный анализ, такие инструменты, как «head», «tail», «sed», «cat» и легковесные скрипты Python, позволяют агенту просмотреть контекст вокруг совпадения или прочитать определенные разделы файла.
Агент может комбинировать эти инструменты с помощью конвейеров командной оболочки для выполнения сложной логики поиска за один шаг. Агент может передавать команды для обеспечения строгих лексических ограничений, например, для поиска в файле одного термина и передачи результата для поиска второго термина. Он может объединять несколько слабых подсказок в корпусе, находя определенный тип файла, выполняя поиск ключевого слова, например, «отчет», и фильтруя по году, например, «2024». Он также может немедленно проверить гипотезу, проверив точные строки вокруг совпадения с ключевым словом.
DCI делегирует семантическую интерпретацию непосредственно агенту, вместо того чтобы полагаться на поиск сходства на основе векторных представлений. Агент может формулировать гипотезы, проверять точные лексические шаблоны и извлекать подробную информацию, которую традиционный семантический поиск может упустить.
Исследователи предлагают две версии этой системы. DCI-Agent-Lite разработана как облегченная и недорогая система, построенная на основе модели GPT-5.4 nano и ограниченная исключительно взаимодействием с терминалом, таким как команды bash и базовое чтение файлов. Поскольку чтение необработанных файлов может быстро заполнить память модели меньшего размера, эта версия использует облегченные стратегии управления контекстом во время выполнения для обеспечения возможности исследования в долгосрочной перспективе.
DCI-Agent-CC — это более производительная версия, разработанная для команд с большим вычислительным бюджетом. Она работает на Claude Code, использующем Claude Sonnet 4.6. Claude Code обеспечивает более надежные подсказки, более эффективную оркестрацию инструментов и превосходную встроенную обработку контекста, что повышает стабильность агента во время сложных многоэтапных поисков по разнородным наборам данных.
DCI в действии
Исследователи протестировали обе версии DCI на тестовых задачах поиска с использованием агентов, таких как BrowseComp-Plus, на задачах обеспечения качества ответов с интенсивным использованием знаний, включающих одношаговое и многошаговое рассуждение, а также на задачах ранжирования в поисковой выдаче, требующих рассуждений, специфичных для предметной области, и проверки научных фактов.
Они протестировали DCI на трех базовых уровнях. Первый включал в себя агенты поиска с открытым весом, такие как Search-R1, и собственные агенты, работающие на основе передовых моделей, таких как GPT-5 и Claude Sonnet 4.6, в паре со стандартными поисковиками. Второй базовый уровень включал классические разреженные поисковики, такие как BM25, и плотные поисковики, такие как text-embedding-3-large и Qwen3-Embedding-8B от OpenAI. Третий базовый уровень состоял из высокоэффективных поисковиков, ориентированных на логическое мышление, таких как ReasonRank-32B и Rank-R1.
По данным исследователей, DCI систематически превосходил базовые показатели. На сложном бенчмарке BrowseComp-Plus замена традиционного семантического извлечения Qwen3 на DCI на базе архитектуры Claude Sonnet 4.6 повысила точность с 69,0% до 80,0%, одновременно снизив стоимость API с 1440 до 1016 долларов. Также была заметна окупаемость инвестиций для облегченных агентов. DCI-Agent-Lite с GPT-5.4 nano конкурировал с моделью OpenAI o3, использующей традиционный поиск, при этом снизив затраты более чем на 600 долларов.
Согласно исследователям, в многошаговых тестах качества DCI-Agent-CC достиг средней точности 83,0%, улучшив результат по сравнению с самым сильным базовым показателем поиска по весу открытий на 30,7 балла.
Данные показывают, что DCI имеет более низкий общий показатель полноты обнаружения документов, чем модели плотного встраивания, но, обнаружив релевантный документ, извлекает из него значительно большую пользу.
«Если бы руководитель корпоративной ИИ спросил, где DCI наиболее полезен, я бы указал на задачи, требующие точной локализации доказательств в динамическом рабочем пространстве: отладка производственных инцидентов, поиск в больших кодовых базах, анализ журналов, расследование нарушений соответствия, журналы аудита или многодокументный анализ первопричин», — отмечают исследователи.
В одной сложной задаче глубокого исследования агенту нужно было определить конкретный футбольный матч на основе 12 взаимосвязанных подсказок, включая точное количество зрителей, желтые карточки и даты рождения игроков. Традиционный поисковик потерпел бы неудачу, выдавая короткие, несвязанные фрагменты. Вместо этого агент DCI исследовал файловую директорию, прочитал определенные строки отчета о матче Англия — Бельгия 1990 года, чтобы проверить точное количество замен, извлек конкретную цитату из файла интервью и проверил точные даты рождения двух игроков, заглянув в их текстовые файлы в Википедии. Благодаря объединению этих простых команд, DCI гарантирует, что никакие доказательства не будут безвозвратно утеряны из-за ошибочного алгоритма семантического поиска.
Ограничения и практическая реализация DCI
DCI имеет четко определенный диапазон рабочих параметров, в котором он отлично масштабируется по глубине поиска, но испытывает трудности с шириной поиска. Когда экспериментальный корпус был расширен со 100 000 до 400 000 документов, точность системы значительно снизилась, а среднее количество обращений к инструменту возросло. Хотя DCI эффективен после обнаружения перспективного документа, стоимость поиска этого первоначального полезного опорного документа резко возрастает по мере увеличения размера пространства кандидатов.
DCI также имеет более низкий показатель полноты охвата документов по сравнению с моделями плотного встраивания. Он жертвует исчерпывающей полнотой охвата ради высокой точности определения местоположения. Если корпоративный рабочий процесс требует строгого поиска каждого релевантного документа в огромном наборе данных, DCI может оказаться неподходящим инструментом.
Предоставление агенту выразительных инструментов, таких как неограниченный доступ к оболочке bash, увеличивает задержку и вычислительные затраты из-за большого количества итеративных вызовов инструментов, необходимых для завершения поиска. Это также создает значительные проблемы в управлении контекстом и обеспечении безопасности для ИТ-отделов.
«Вызовы инструментов могут возвращать большие объемы данных; длинные траектории могут заполнять контекстное окно; а доступ к терминалу без предварительного ввода требует изоляции, контроля прав доступа и тщательной разработки», — заявили авторы. Для управления контекстным окном исследователи обнаружили, что умеренное усечение и сжатие помогают агенту поддерживать более длительные поиски, в то время как чрезмерно агрессивное суммирование, как правило, отбрасывает полезные данные.
Ввиду этих операционных реалий, DCI не предназначена для обязательной замены существующей инфраструктуры по борьбе с переносчиками инфекций. Вместо этого она служит дополнением к ней.
«Для инженеров по оркестрации и архитекторов данных, на наш взгляд, наиболее практичным вариантом развертывания в ближайшей перспективе является гибридный подход», — заявили авторы. Семантический поиск по-прежнему может обеспечивать высокую точность обнаружения кандидатов, даже если намерение пользователя широкое или недостаточно конкретное. «DCI может затем работать как уровень точности и проверки: агент может искать внутри найденных документов, расширять поиск на соседние файлы, проверять точные ограничения и объединять слабые сигналы из разных документов».
Исследователи опубликовали код DCI под разрешительной лицензией MIT.
«В долгосрочной перспективе DCI меняет наше представление о корпоративных данных. Данные нужно будет хранить не только для людей или индексировать для поисковых систем; их нужно будет организовывать для агентов, которые смогут проверять, сравнивать, искать, отслеживать и подтверждать», — заключают авторы. «Имена файлов, метки времени, стабильные идентификаторы, метаданные, история версий и машиночитаемая структура становятся частью интерфейса поиска».
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Добавить комментарий
Для отправки комментария вам необходимо авторизоваться.