Как модульная конструкция может упростить и масштабировать классификацию намерений в корпоративных системах искусственного интеллекта
Делиться
В системах на базе искусственного интеллекта понимание намерений пользователя имеет основополагающее значение, особенно в сфере обслуживания клиентов, где я работаю. Однако в корпоративных командах распознавание намерений часто происходит изолированно, поскольку каждая команда разрабатывает индивидуальные конвейеры для разных продуктов, от помощников по устранению неполадок до чат-ботов и инструментов сортировки проблем. Эта избыточность замедляет инновации и затрудняет масштабирование.
Обнаружение закономерности в клубке систем
В рабочих процессах ИИ мы наблюдали закономерность: многие проекты, хотя и преследуют разные цели, предполагают понимание пользовательского ввода и его классификацию по меткам. Каждый проект решал эту задачу независимо, с некоторыми вариациями. Одна система могла сочетать FAISS с встраиванием MiniLM и реферированием LLM для популярных тем, в то время как другая сочетала поиск по ключевым словам с семантическими моделями. Хотя по отдельности эти конвейеры эффективны, у них были общие базовые компоненты и задачи, что представляло собой отличную возможность для консолидации.
Мы составили их схему и поняли, что все они сводятся к одному и тому же базовому шаблону: очистить входные данные, преобразовать их в вложения, найти похожие примеры, оценить сходство и присвоить метку. Как только вы это увидите, станет очевидно: зачем снова и снова переделывать одну и ту же инфраструктуру? Не лучше ли создать модульную систему, которую разные команды могли бы настраивать под свои нужды, не начиная всё с нуля? Этот вопрос наставил нас на путь создания того, что мы теперь называем унифицированной системой распознавания намерений (UIRE).
Осознав это, мы увидели возможность. Вместо того, чтобы позволить каждой команде разрабатывать разовое решение, мы могли стандартизировать основные компоненты, такие как предварительная обработка, встраивание и оценка сходства, оставив при этом достаточно гибкости для каждой продуктовой команды, чтобы она могла добавлять собственные наборы меток, бизнес-логику и пороговые значения риска. Эта идея легла в основу фреймворка UIRE.
Модульная структура, разработанная для повторного использования
По сути, UIRE представляет собой настраиваемый конвейер, состоящий из многократно используемых компонентов и плагинов, специфичных для проекта. Многоразовые компоненты остаются неизменными: предварительная обработка текста, модели встраивания, векторный поиск и логика оценки. Кроме того, каждая команда может добавлять собственные наборы меток, правила маршрутизации и параметры риска.
Вот как обычно выглядит поток:
Ввод → Предварительная обработка → Суммирование → Встраивание → Поиск векторов → Оценка сходства → Сопоставление меток → Маршрутизация
Мы организовали компоненты следующим образом:
- Повторяемые компоненты: этапы предварительной обработки, суммирование (при необходимости), инструменты встраивания и поиска векторов (например, MiniLM, SBERT, FAISS, Pinecone), логика оценки сходства, фреймворки настройки пороговых значений.
- Элементы, специфичные для проекта: пользовательские метки намерений, данные обучения, правила маршрутизации, специфичные для бизнеса, пороги уверенности, скорректированные с учетом риска, и дополнительные варианты обобщения LLM.
Вот наглядное представление этого:
Ценность этой системы стала очевидна практически сразу. В одном случае мы перепрофилировали существующий конвейер для решения новой задачи классификации и запустили его за два дня. Раньше, когда мы разрабатывали систему с нуля, на это обычно уходило почти две недели. Благодаря такому форсированному результату мы могли уделять больше времени повышению точности, выявлению граничных случаев и экспериментам с конфигурациями, вместо того чтобы заниматься подключением инфраструктуры.
Более того, такой дизайн естественным образом рассчитан на будущее. Если новому проекту потребуется многоязычная поддержка, мы можем использовать модель, например, Jina-Embeddings-v3. Если другой команде разработчиков потребуется классифицировать изображения или аудио, тот же векторный поисковый поток будет работать и там, просто заменив модель встраивания. Основная часть остаётся прежней.
Превращение фреймворка в живой репозиторий для непрерывного роста
Ещё одним преимуществом унифицированного движка является возможность создания общего, активного репозитория. По мере того, как разные команды внедряют фреймворк, их настройки, включая новые модели встраивания, пороговые конфигурации или методы предварительной обработки, можно будет возвращать в общую библиотеку. Со временем этот коллективный интеллект создаст комплексный набор передовых практик корпоративного уровня, ускоряя внедрение и внедрение инноваций.
Это устраняет распространённую проблему «разрозненных систем», характерную для многих предприятий. Хорошие идеи остаются запертыми в отдельных проектах. Однако благодаря общей инфраструктуре становится гораздо проще экспериментировать, учиться друг у друга и постоянно совершенствовать систему в целом.
Почему этот подход важен
Для крупных организаций с многочисленными текущими инициативами в области ИИ такая модульная система предлагает множество преимуществ:
- Избегайте дублирования инженерных работ и сокращайте накладные расходы на обслуживание
- Ускорьте создание прототипов и масштабирование, поскольку команды могут комбинировать и сочетать готовые компоненты.
- Позвольте командам сосредоточиться на том, что действительно важно — на повышении точности, уточнении пограничных случаев и доработке пользовательского опыта, а не на перестройке инфраструктуры.
- Упростите расширение на новые языки, бизнес-области или даже типы данных, такие как изображения и аудио.
Эта модульная архитектура хорошо согласуется с тенденциями в разработке систем искусственного интеллекта. Исследования Сунга и др. (2023), Пуига (2024) и Танга и др. (2023) подчёркивают ценность многоразовых конвейеров на основе встраивания для классификации намерений. Их работа показывает, что системы, построенные на векторных рабочих процессах, более масштабируемы, адаптируемы и просты в обслуживании, чем традиционные одноразовые классификаторы.
Расширенные функции для обработки реальных сценариев
Конечно, реальные разговоры редко следуют чётким, однозначным шаблонам. Люди задают запутанные, многослойные, порой двусмысленные вопросы. Именно здесь модульный подход действительно раскрывается, поскольку он упрощает внедрение сложных стратегий обработки. Эти функции можно реализовать один раз, а затем использовать их в других проектах.
- Обнаружение множественных намерений, когда запрос задает несколько вопросов одновременно
- Обнаружение несоответствий позволяет отметить незнакомые входные данные и направить их к человеку или резервному ответу
- Легкость объяснения путем извлечения примеров ближайших соседей в векторном пространстве для объяснения того, как было принято решение.
Подобные функции помогают системам ИИ оставаться надежными и снижать неудобства для конечных пользователей, даже когда продукты выходят на все более непредсказуемые и изменчивые среды.
Заключительные мысли
Унифицированный механизм распознавания намерений — это не просто готовый продукт, а скорее практическая стратегия интеллектуального масштабирования ИИ. При разработке концепции мы учитывали уникальность проектов, их развёртывание в разных средах и необходимость разного уровня адаптации. Предлагая готовые компоненты с высокой степенью гибкости, команды могут работать быстрее, избегать лишней работы и создавать более интеллектуальные и надёжные системы.
По нашему опыту, применение этой конфигурации дало значимые результаты: более быстрое развертывание, меньше времени, затрачиваемого на избыточную инфраструктуру, и больше возможностей сосредоточиться на точности и пограничных случаях с большим потенциалом для будущих улучшений. По мере того, как продукты на базе ИИ продолжают распространяться в различных отраслях, подобные фреймворки могут стать незаменимыми инструментами для создания масштабируемых, надежных и гибких систем.
Об авторах
Шрути Тивари — менеджер по продуктам ИИ в Dell Technologies, где она руководит инициативами в области ИИ для улучшения поддержки корпоративных клиентов с помощью генеративного ИИ, агентных фреймворков и традиционного ИИ. Её работы публиковались в VentureBeat, CMSWire и Product Led Alliance. Она консультирует специалистов по созданию масштабируемых и ответственных продуктов на основе ИИ.
Вадирадж Кулкарни — специалист по анализу данных в Dell Technologies, специализирующийся на разработке и внедрении мультимодальных ИИ-решений для обслуживания корпоративных клиентов. Его работа охватывает генеративный ИИ, агентный ИИ и традиционный ИИ для улучшения результатов поддержки. Его работа, посвящённая применению агентных фреймворков в мультимодальных приложениях, была опубликована на VentureBeat.
Ссылки:
- Сунг, М., Гун, Дж., Мансимов, Э., Паппас, Н., Шу, Р., Ромео, С., Чжан, И. и Кастелли, В. (2023). Предварительное обучение кодеров с учётом намерений для классификации с нулевым и малым количеством попыток. Препринт arXiv arXiv:2305.14827. https://arxiv.org/abs/2305.14827
- Пуиг, М. (2024). Освоение классификации намерений с помощью вложений: центроиды, нейронные сети и случайные леса. Medium. https://medium.com/@marc.puig/mastering-intent-classification-with-embeddings-34a4f92b63fb
- Тан, Й.-Ч., Ван, В.-Ч., Йен, А.-З. и Пэн, В.-Ч. (2023). RSVP: Определение намерений клиентов с помощью предварительного обучения сравнительных и генеративных ответов агентов. Препринт arXiv arXiv:2310.09773. https://arxiv.org/abs/2310.09773
- Jina AI GmbH. (2024). Выпущена Jina-Embeddings-v3: многоязычная многозадачная модель встраивания текста. Препринт arXiv arXiv:2409.10173. https://arxiv.org/abs/2409.10173
Источник: towardsdatascience.com
