Корпоративные агенты искусственного интеллекта постоянно терпят неудачу, потому что забывают то, чему научились.

Тарин Пламб

Архитектуры RAG хороши лишь в одном: в выявлении семантически релевантных документов. На этом их возможности и заканчиваются.

Для решения этой проблемы используется структура, называемая графом контекста принятия решений, которая предоставляет агентам структурированную память, рассуждения с учетом времени и явную логику принятия решений. Компания Rippletide, стартап из экосистемы Neo4j, разработала такую структуру. Ключевая особенность: нерегрессивные агенты, способные замораживать проверенные последовательности действий и наращивать их с течением времени.

«Ключевой момент, который вам нужен, — это нерегрессивность: как обеспечить, чтобы, когда агент создаст что-то новое, вы могли использовать результаты предыдущих открытий?» — сказал Ян Бильен, соучредитель и главный научный сотрудник Rippletid.

Почему RAG не заходит достаточно далеко

Контекст предприятия охватывает инструменты ERP, журналы, базы данных, хранилища векторов и документы с политиками. Инструменты генеративного ИИ могут извлекать информацию из всего этого — с помощью поиска по ключевым словам, SQL-запросов или полных конвейеров RAG — но возможности извлечения имеют свои пределы.

Примечательно, что полученные данные могут быть нерелевантны для принимаемого решения (что может вызывать галлюцинации); и даже если агенты получают правильные данные, им часто не хватает указаний для принятия решений, подкрепленных вескими аргументами.

То есть RAG извлекает документы, а не контекст принятия решений. «Все начинают с RAG: извлекают релевантные документы, вставляют их в запрос, и модель сама разбирается», — сказал Уайатт Мэйхэм из Northwest AI Consulting.

Хотя это отлично работает для чат-ботов, для агентов, которым необходимо принимать решения и предпринимать действия, это «сразу же перестает работать», отметил он. «Самая большая проблема, с которой сталкиваются разработчики, — это разрыв между получением информации и ее применением».

«Полученный документ не сообщает агенту, остается ли он в силе, устарел ли он или существует ли противоречащее ему правило, — сказал Мэйхэм. — Агентам нужен контекст для принятия решения, а не просто информация».

В строительстве (в мире людей) это может означать знание того, что срок действия исключения из ценовой политики истек, что политика безопасности применяется только в определенных юрисдикциях или что стандартная операционная процедура была обновлена месяц назад. «Если упустить что-либо из этого, агент с уверенностью совершит неправильный поступок», — сказал Мэйхэм.

Без структурированного контекста принятия решений агенты комбинируют несовместимые правила, придумывают ограничения для заполнения пробелов и полагаются на то, что Бильен называет «вероятностными предположениями на основе неограниченных данных». Ошибки трудно воспроизвести, поскольку разработчики не могут отследить, почему агент сделал тот или иной выбор.

Проблема накопления ошибок тоже реальна, сказал Мэйхэм: небольшая частота ошибок на каждом этапе становится «катастрофической» в многоэтапном рабочем процессе. «Это главная причина, по которой большинство корпоративных агентов никогда не выходят за рамки пилотной фазы».

Как графы контекста принятия решений позволяют получить соответствующий ответ

Граф контекста принятия решений решает эту проблему, кодируя структурированную карту того, что применимо, каковы правила и когда они применяются.

Данная структура оптимизирована для ответа на один вопрос: «В данной ситуации, какой контекст применим прямо сейчас?» Время рассматривается как первостепенное измерение; каждое правило, решение и исключение ограничены периодом своей применимости.

«Цель состоит в том, чтобы явно учитывать отсутствующие, несогласованные или противоречивые данные при построении графа, чтобы избежать вероятностных [ошибок] после запуска агента», — сказал Бильен.

Система построена на основе трех принципов:

• Применимость: Логика явно закодирована, поэтому агент знает, какие правила нужно запомнить и применить в данной ситуации. Контекст возвращается только тогда, когда он имеет отношение к ситуации.

• Память, учитывающая время: каждое правило, решение и исключение имеют временную привязку. Это позволяет агентам рассуждать о том, «что было верно тогда, а что верно сейчас», а затем воспроизводить или объяснять свои решения.

• Пути принятия решений: Система может объяснить, как она пришла к результату A и B, а также «почему» она приняла то или иное решение (например, почему один контекстный элемент был включен, а другой — нет). Агентам предоставляются примеры «путей принятия решений», демонстрирующие, как подобные случаи обрабатывались ранее.

На этапе настройки неструктурированные данные загружаются и структурируются в онтологию: какие сущности существуют, какие правила применяются, что считается исключением. Нейросимволический ИИ обрабатывает распознавание образов и кодирует формальную, машиночитаемую логику. Со временем система уточняет свою базу знаний по мере принятия новых решений.

«Нейросимволический подход включает в себя две части: нейронную, дающую агентам большую автономию, и символическую, позволяющую сократить объем необходимых данных и обеспечить контроль», — сказал Бильен.

Агент тестируется на этапе разработки (предпроизводстве) для проверки его поведения или выявления областей, требующих улучшения. Это снижает риски, а также вычислительные затраты во время выполнения выводов, отметил он.

Агенты учатся, а не деградируют.

По словам Бильена, когда речь идет о нерегрессии, ключевым моментом является как накопление интеллекта (моделей), так и накопление знаний (обмен информацией между агентами). Важно, чтобы агенты могли исследовать; если они не знают, как выполнить задачу, они могут попробовать разные варианты, как правило, в контролируемой среде или симуляции (например, бот поддержки, пытающийся использовать различные варианты ответов).

Затем, как пояснил Бильен, «после того, как решение признано удовлетворительным, график фиксирует эту последовательность действий». Дальнейшие исследования начинаются с этой «стабильной базы проверенных моделей поведения», чтобы предотвратить вытеснение ранее усвоенных правильных моделей поведения вновь приобретенными навыками.

Прежде чем агент совершит действие или повлияет на клиента, он проверяет граф: нарушает ли он правило? Испытывает ли галлюцинации? Остается ли в рамках ограничений? Может ли он обобщить решение на аналогичные случаи?

На макроуровне система оценивает результаты: улучшило ли поведение долгосрочные показатели? Применимо ли оно в аналогичных условиях? Сохранило ли оно прежние навыки?

«Этот детерминизм является ключевым фактором для обеспечения надежности работы агентов в масштабах предприятия», — сказал Бильен. Он приводит к более последовательному, предсказуемому и объяснимому поведению, что обеспечивает более строгий контроль и возможность аудита.

«Вы хотите, чтобы ваши агенты могли самостоятельно учиться, когда сталкиваются с чем-то незнакомым, — сказал он. — Вы хотите, чтобы они могли исследовать и находить новые решения».

Преодоление «эпизодической» памяти

Хотя изначально команда предполагала внедрить обучение с подкреплением повсеместно, «в корпоративной среде это оказалось очень сложно», — сказал Бильен. «Для некоторых конкретных случаев использования данных мало, а для других — они очень неструктурированы».

Как правило, использование необработанных данных для получения надежных прогнозов было трудоемким и требующим много времени процессом, но «теперь, благодаря агентам, мы вступили в новую эру, когда построение онтологий стало возможным автоматически», — сказал Бильен.

Классические методы контролируемой тонкой настройки могут приводить к колебаниям, когда модели забывают последний освоенный навык при обучении следующему тону. В целом, обучение не является накопительным, сжатие происходит «резко», а модели улучшаются «эпизодически», а не непрерывно, что приводит к их постоянным неудачам при решении новых или ранее не встречавшихся задач.

Как отметил Бильен: «Вы никогда не получите полностью самообучающуюся модель, если будете постоянно возвращаться к исходному состоянию».

В корпоративных сценариях использования — например, в банковской сфере, где ежедневно обрабатываются миллионы транзакций — высокий уровень надежности имеет решающее значение, отметил он. «Я задаю всем клиентам один вопрос: достаточно ли 95%? Во многих случаях — нет. Вам нужно 99,999%. Отклонение на 1% — это уже слишком много».

По его мнению, графы контекста принятия решений могут устранить этот пробел: когда один и тот же вопрос в службу поддержки задается неоднократно, оператор будет давать «удовлетворительный» ответ предсказуемо и без регресса, сохраняя при этом свою автономность.

По словам Мэйхема, кодирование применимости и временной достоверности в структурированном графе — вместо того, чтобы полагаться на LLM для их вывода — является «обоснованным подходом» к реальному ограничению существующих систем поиска. Открытый вопрос заключается в том, выдержит ли автоматическое создание онтологий проверку на соответствие сложным и разнообразным данным, которыми на самом деле располагают предприятия. «Это всегда самая сложная часть», — сказал он.

Подпишитесь, чтобы получать самые свежие новости!

Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.

VB Daily AI Weekly Еженедельник AGI Еженедельник по безопасности Еженедельник по инфраструктуре данных Мероприятия VB Все они

Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.

Источник: venturebeat.com