Надежность корпоративных агентов искусственного интеллекта зависит от качества самых некачественных документов, стоящих за ними.

Шухуа Сюй

Корпоративный ИИ в значительной степени построен на основе проектирования контекста. Команды объединяют корпоративные системы, генерируют фрагменты и эмбеддинги, создают конвейеры поиска и собирают контекст, необходимый для отдельных приложений ИИ. Хотя такой подход хорошо работает для изолированных помощников и вторых пилотов, он рассматривает корпоративные знания как контекст, специфичный для конкретного приложения, а не как общий корпоративный ресурс.

По мере того, как организации внедряют все больше приложений и агентов ИИ, эта модель начинает давать сбои. Разные команды обрабатывают одни и те же документы, поддерживают отдельные эмбеддинги и индексы и создают непоследовательные представления одних и тех же бизнес-знаний. Задача состоит уже не просто в предоставлении контекста системам ИИ, а в управлении самими корпоративными знаниями.

Почему для корпоративного ИИ недостаточно просто создать контекст.

Сегодня распространенный подход к корпоративному ИИ заключается в создании контекста для отдельных приложений. Команды объединяют корпоративные системы, обрабатывают необходимую информацию, генерируют представления для поиска, такие как фрагменты и эмбеддинги, и собирают контекст, необходимый агенту во время выполнения. Хотя это работает для отдельного приложения, это не позволяет управлять корпоративными знаниями как общим корпоративным активом.

По мере того как организации внедряют все больше приложений на основе ИИ, этот подход начинает давать сбои по трем причинам.

Во-первых, знания становятся противоречивыми. Корпоративные знания распределены по множеству независимых систем с различными схемами, определениями бизнес-процессов и циклами обновления. Один и тот же продукт, клиент или бизнес-процесс могут быть описаны по-разному — или даже противоречить друг другу — в документах, задачах Jira, исходном коде, системах CRM и метаданных. Извлечение этой информации в контекст не устраняет эти несоответствия; оно просто переносит их в приложение ИИ, в результате чего разные агенты формируют различное понимание бизнеса.

Во-вторых, изменения становится трудно распространять. Корпоративные знания постоянно развиваются, но каждое приложение поддерживает свой собственный контекстный конвейер. По мере изменения документов, кода и бизнес-определений, последующие фрагменты, встраивания, индексы и контекст агента обновляются независимо, в результате чего приложения ИИ работают с разными версиями одних и тех же знаний.

В конечном итоге, организации постоянно перестраивают одни и те же конвейеры обработки знаний. Разные команды обрабатывают одни и те же корпоративные знания, создают похожие векторные представления, поддерживают отдельные индексы и формируют пересекающийся контекст для различных приложений, что приводит к дублированию инженерных усилий, ненужным затратам на инфраструктуру и фрагментации знаний.

Это не проблемы, связанные с контекстной инженерией, а проблемы управления знаниями. Корпоративные платформы данных решили ту же задачу для структурированных данных, управляя корпоративными данными один раз и совместно используя их в различных приложениях. Теперь корпоративный ИИ требует той же архитектурной дисциплины: общей корпоративной платформы знаний, которая управляет знаниями один раз и публикует многократно используемые представления для каждого приложения ИИ.

Многоуровневая система управления данными и знаниями

Корпоративная платформа знаний — это аналог корпоративной платформы данных для корпоративных знаний. Вместо того чтобы рассматривать документы, исходный код, задачи Jira, электронную почту, API и другие корпоративные системы как изолированные входные данные для отдельных приложений ИИ, она управляет ими как общим корпоративным активом. Она собирает, организует, интегрирует, управляет и публикует корпоративные знания через общую архитектуру, так что каждое приложение ИИ использует одну и ту же надежную базу знаний, а не поддерживает собственный контекст.

Для достижения этой цели платформа разделяет управление знаниями на четыре уровня с различными функциями. Сначала знания сохраняются в исходном виде, затем нормализуются в управляемые объекты знаний, объединяются в общую корпоративную модель знаний и, наконец, публикуются в представлениях, оптимизированных для различных приложений ИИ. Такое разделение позволяет каждому этапу развиваться независимо, обеспечивая при этом согласованную основу для всех последующих приложений.

Платформа организует корпоративные знания в четыре уровня:

Сырой → Рафинированный → Интегрированный → Подача

• Raw сохраняет исходные корпоративные материалы.

• Refined преобразует разнородные источники в управляемые объекты знаний.

• Интегрированный подход объединяет знания из разных систем в единую корпоративную модель знаний.

• Serving публикует многократно используемые и специфичные для агентов представления для приложений искусственного интеллекта.

Исходный слой – сохранить источник

Исходный слой собирает информацию из корпоративных систем, сохраняя при этом ее первоначальную форму и идентичность источника. Это может включать записи баз данных и события изменений, PDF-файлы и другие документы, страницы Confluence, задачи Jira, исходный код, ответы API, электронные письма, изображения и потоки событий.

Цель этого слоя — не подготовка информации для агента. Он предназначен для поддержания надежного источника, на основе которого платформа может восстанавливать знания в дальнейшем. Если логика извлечения изменяется, модель улучшается или представление данных в дальнейшем искажается, информация может быть обработана повторно без необходимости использования копии, специфичной для конкретного приложения.

Уточненный слой – нормализация корпоративных знаний

Усовершенствованный слой преобразует разнородные корпоративные источники в управляемые объекты знаний. Каждый источник нормализуется до согласованного представления, сохраняя при этом свою идентичность, метаданные, разрешения, версии, происхождение и ссылки на исходный контент.

Например, документ с требованиями к продукту преобразуется в структурированный объект знаний, содержащий метаданные, такие как идентификатор документа, идентификатор продукта, заголовок, исходная система, автор, версия, разрешения, теги, время создания и время последнего изменения, а также связанное с ним содержимое. Такое представление обеспечивает согласованный способ управления корпоративными знаниями независимо от того, является ли источником документ, задача Jira, репозиторий исходного кода, электронная почта или API.

На данном этапе платформа не пытается связать различные области знаний. Вместо этого она создает многократно используемое и управляемое представление для каждого источника знаний предприятия. После того как каждый источник будет нормализован в структурированные или полуструктурированные объекты знаний, интегрированный слой может связать их посредством общих бизнес-сущностей и отношений.

Интегрированный слой – построение корпоративной модели знаний.

Интегрированный слой преобразует независимые объекты знаний в единую корпоративную модель знаний. Он служит двум целям: объединению знаний между системами и бизнес-областями, а также моделированию бизнес-связей, необходимых ИИ для рассуждений.

Знания связываются с помощью общих бизнес-идентификаторов (таких как идентификаторы продуктов или клиентов), явных межсистемных ссылок (таких как ссылки в Jira и Git) или разрешения сущностей на основе ИИ, когда прямая связь отсутствует. Например, документ с требованиями к продукту, описывающий «Массовую загрузку счетов-фактур», задача в Jira под названием «Реализация API для загрузки счетов-фактур» и примечание к выпуску, объявляющее об этой же функции, могут ссылаться на одну и ту же бизнес-возможность, даже если между ними нет явной связи.

После подключения платформа моделирует деловые отношения на основе бизнес-логики, такой как implemented_by , contains, belongs_to, affects и depends_on , отражая то, как бизнес фактически функционирует, а не просто то, как связаны записи.

В отличие от традиционных связей первичного и внешнего ключей, эти связи описывают бизнес-процессы, зависимости, права собственности и влияние на бизнес. Они позволяют ИИ отслеживать знания в инженерной, продуктовой, службе поддержки клиентов, финансовой и других областях, используя общее понимание предприятия.

Уровень обслуживания – публикация знаний для ИИ.

Уровень обслуживания похож на контекстный уровень, используемый во многих корпоративных приложениях ИИ, но он построен на основе управляемой корпоративной базы знаний. Он преобразует корпоративную модель знаний в представления, оптимизированные для различных рабочих нагрузок ИИ. Эти представления делятся на две категории.

Первый тип — это общие корпоративные представления, которые обеспечивают единую основу знаний для всех приложений ИИ. Примерами могут служить представления SQL, поисковые индексы, фрагменты данных, эмбеддинги, модели графов и API, которые создаются один раз и используются повторно во всей организации.

Второй подход — это представление данных, специфичное для каждого агента. Вместо хранения отдельных копий корпоративных знаний платформа динамически формирует контекст, специфичный для конкретной задачи, из интегрированной модели знаний, исходя из потребностей каждого агента. Агент по продуктам, агент по доходам и агент службы поддержки клиентов могут использовать одну и ту же корпоративную базу знаний, получая при этом разный контекст, адаптированный к их обязанностям.

Диаграмма четко определяет высокоуровневую модель обслуживающего слоя:

Модель корпоративных знаний │ ┌─────────────────────┴──────────────────────┐ │ │ ▼ ▼ Общие корпоративные представления Представления, специфичные для агентов ┌────────────────────────────────┐ ┌───────────────────────────────────┐ │ Представления SQL │ │ Контекст продукта │ │ Индекс поиска │ │ Контекст дохода │ │ Фрагменты │ │ Контекст клиента │ │ Встраивания │ │ Контекст планирования │ │ Граф │ │ Контекст кодирования │ │ API │ │ … │ └──────────────────────────────┘ └─────────────────────────────┘ │ │ └────────────────────────┬───────────────────┘ │ ┌─────────────────────────────┼───────────────────────────────┐ ▼ ▼ ▼ Агент по продуктам Агент по доходам Агент по работе с клиентами

Платформа управления знаниями: основа данных для ИИ

Большинство современных корпоративных систем управления знаниями созданы для людей, а не для искусственного интеллекта. Страницы и документы Confluence помогают сотрудникам записывать и обмениваться знаниями. Jira позволяет командам планировать работу и сотрудничать. Системы метаданных помогают аналитикам понимать массивы данных. Эти системы организуют информацию таким образом, чтобы люди могли искать, интерпретировать и связывать ее, используя свой собственный опыт, знания и суждения.

Крупные языковые модели коренным образом изменили способы использования корпоративных знаний. Теперь машины могут понимать естественный язык, анализировать документы и взаимодействовать с корпоративными знаниями способами, которые ранее были доступны только людям. Этот сдвиг требует не только новых приложений ИИ, но и новой базы данных, которая управляет корпоративными знаниями как инфраструктурой, а не как единым элементом.

Эта управляемая корпоративная платформа знаний обеспечивает основу данных для агентов искусственного интеллекта. Она преобразует ориентированные на человека системы знаний в инфраструктуру, готовую к использованию ИИ, организуя корпоративные знания в согласованную, многократно используемую и управляемую платформу данных.

Эта основа позволяет реализовать возможности системы, которые трудно или невозможно достичь, когда каждое приложение ИИ создает и управляет собственным контекстом.

Платформа также обеспечивает основу для рабочих процессов с участием человека и обучения с подкреплением в агентных системах. Обратная связь, генерируемая агентами ИИ, может быть возвращена на платформу, проверена, обработана и интегрирована в корпоративную модель знаний, прежде чем быть опубликована в последующих приложениях ИИ. Это создает замкнутый цикл обратной связи, который постоянно улучшает корпоративные знания и позволяет агентам ИИ развиваться.

Следующим конкурентным преимуществом является корпоративная база данных.

С момента выхода ChatGPT 3 в конце 2022 года индустрия вложила огромные усилия в разработку базовых моделей, архитектур RAG, векторных баз данных, эмбеддингов, MCP и многоагентных фреймворков. Эти технологии значительно улучшили способы создания и развертывания приложений ИИ. Сегодня стек приложений ИИ быстро развивается.

Следующим узким местом уже не является модель или структура агентов. Это корпоративная база данных, лежащая в их основе. Возможности агентов ИИ зависят от качества используемых ими данных и знаний. Более совершенные модели не могут компенсировать фрагментацию документов, несогласованные бизнес-определения, разрозненные системы или плохое управление корпоративными знаниями. Как и любая система, основанная на данных, корпоративный ИИ в конечном итоге следует тому же принципу: что на входе, то и на выходе.

Для предприятий наиболее важными инвестициями являются уже не создание большего количества агентов ИИ, а построение корпоративной платформы знаний, которая поддерживает каждого агента. Организации, которые рассматривают корпоративные знания как общую инфраструктуру, а не как контекст, специфичный для конкретного приложения, смогут создавать более надежные ИИ, быстрее разрабатывать новые приложения и масштабировать ИИ в масштабах всего предприятия, не перестраивая постоянно одну и ту же базу знаний.

Следующее конкурентное преимущество в корпоративном ИИ будет заключаться не в создании большего количества агентов. Оно будет заключаться в создании базы данных и знаний, от которой зависит каждый агент.

Шухуа Сюй — ведущий инженер по обработке данных.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Источник: venturebeat.com