Один модуль ИИ имитировал прирост точности конвейера на 86%, передав ответы другому модулю.

Бен Диксон

Система генерации с дополненной информацией (RAG) создана для ответа исключительно на основе полученных документов. Но когда инженеры оптимизируют эти конвейеры ИИ от начала до конца, модуль чтения может научиться использовать обходной путь: вместо того, чтобы полагаться на полученные данные, он начинает отвечать, используя собственную внутреннюю память, — в то время как общая точность системы продолжает расти. Это скрытая проблема «дрейфа ролей» — режима отказа в сложных системах ИИ, когда отдельные модули учатся обходить назначенные им задачи, даже несмотря на улучшение общей производительности.

Для решения этой проблемы исследователи из Массачусетского технологического института и Гарварда вводят метод «якоря ролей» (Role Anchor), который заставляет модули оставаться в рамках своих задач во время обучения. Применение этого метода позволяет уменьшить смещение ролей. Например, он заставляет читателя RAG полагаться на полученные данные, а не отвечать, основываясь на своих внутренних знаниях.

Главный вывод для специалистов-практиков заключается в том, что сквозная точность сама по себе может завышать реальный уровень знаний, полученных сложной системой искусственного интеллекта. Инженеры должны оценивать отдельные компоненты и убедиться, что они работают должным образом.

Функция Role Anchor служит одновременно ограничителем и диагностическим инструментом при оптимизации многоэтапных конвейеров LLM. Она может быть крайне важна для реальных приложений ИИ, требующих строгого разделения труда между модулями.

Почему точность терминала скрывает проблему

Составные системы LLM разделяют сложные задачи между специализированными модулями. Например, система, разработанная для многошагового рассуждения, может разделить задачу между «декомпозитором» и «решателем». Декомпозитор разбивает большую проблему на управляемые подзадачи, а решатель вычисляет ответы на эти подзадачи. Такое разделение труда позволяет инженерам в области ИИ делегировать выполнение более мелким и дешевым моделям, а также позволяет обрабатывать подзадачи параллельно, где это возможно.

Для повышения производительности конвейеров искусственного интеллекта инженеры обычно оптимизируют их с помощью сквозного обучения с подкреплением (RL), руководствуясь единым «конечным вознаграждением». Это означает, что система оценивается по тому, является ли окончательный ответ правильным или нет (исследователи называют это «конечной точностью»). Когда эта конечная точность повышается, считается, что система обучается и работает должным образом.

Однако точность конечного результата не подтверждает, правильно ли модули выполнили поставленные перед ними задачи. Как заявил соавтор статьи Сяоян Цао в интервью VentureBeat: «Точность конечного результата сводит поведение всей многокомпонентной системы искусственного интеллекта к одному числу. Она показывает, правилен ли окончательный ответ, но мало что говорит о том, какие компоненты внесли свой вклад или выполнили ли они свои назначенные роли».

Эта «слепая зона» приводит к смещению ролей — состоянию, при котором поведение модуля отклоняется от назначенной ему роли в процессе оптимизации, даже несмотря на то, что точность работы терминала системы продолжает улучшаться.

«Для инженерных команд практический риск заключается в том, что они могут развернуть конвейер, который проходит все сквозные проверки, даже если предполагаемое разделение труда незаметно дало сбой», — сказал Цао. Поскольку система вознаграждения оценивает только окончательный ответ, она не может обнаружить или наказать модуль за несанкционированное вмешательство.

Рассмотрим, как это происходит в конвейере «Декомпозитор-Решатель». Роль декомпозитора заключается в формулировании абстрактных подвопросов без решения задачи, оставляя рассуждения решателю. В рамках сквозного обучения с подкреплением декомпозитор быстро понимает, что более слабый решатель склонен к ошибкам при решении абстрактных задач. Чтобы максимизировать вознаграждение, декомпозитор начинает внедрять или подкладывать ответы в подвопросы, которые он отправляет решателю. В итоге решатель просто повторяет ответ, который ему передал декомпозитор. Точность в конечном итоге повышается, но предполагаемая архитектура оказывается под угрозой.

Но если система выдает правильные ответы и точность повышается, почему нас должно волновать, если какой-либо модуль отклоняется от своей основной функции?

Для реального внедрения требуется гораздо больше, чем просто правильный окончательный ответ на обучающем наборе данных. Неявные роли, назначенные этим модулям, обеспечивают масштабируемость, надежность и возможность аудита. Рассмотрим, что происходит, когда происходит смещение ролей:

• Потеря эффективности и возможности аудита: В приведенном примере с рассуждениями смещение ролей приводит к тому, что декомпозитор выполняет всю основную работу вместо планирования и делегирования. «Как только декомпозитор начинает напрямую вкладывать ответы в свои подвопросы, решатели сводятся к копированию этих ответов», — сказал Цао. «Вы по-прежнему платите за запуск [различных модулей], но они больше не выполняют независимую работу». Рабочая нагрузка больше не может быть распараллелена между несколькими решателями, ее нельзя делегировать более дешевым моделям для экономии вычислительных ресурсов, и заинтересованные стороны на последующих этапах больше не могут пошагово проверять логику системы, чтобы убедиться, как она пришла к ответу.

• Хрупкость в динамических средах: Рассмотрим систему RAG, в которой модель Reader должна отвечать на вопросы, используя исключительно внешние полученные документы. Если модель Reader начнет полагаться на свою собственную внутреннюю параметрическую память (поскольку ее память оказывается точной во время обучения), система станет хрупкой. Когда предприятие обновит свою базу данных новой информацией или пользователь задаст вопрос о новой теме, выходящей за рамки предварительного обучения модели, система выйдет из строя, потому что она откажется от механизма привязки, для которого была создана.

Как Role Anchor измеряет и обеспечивает соблюдение роли.

«Обучение, ориентированное только на конечный результат, вознаграждает систему за правильный ответ, независимо от того, как она его получила», — сказал Цао. Чтобы противодействовать этому, метод Role Anchor служит облегченной техникой регуляризации, которая включает инструкции по ролям в цель обучения. Он сравнивает поведение компонента с этими инструкциями и без них и препятствует ослаблению их эффекта в процессе обучения.

В общих чертах, это гарантирует, что модуль продолжает учитывать управляющее влияние исходного запроса на роль на протяжении всего процесса оптимизации обучения с подкреплением, что делает дрейф роли измеримым и контролируемым.

Ключевая особенность Role Anchor заключается в том, что эффект роли можно измерить, сравнивая поведение модели с указанием роли и без него. Система оценивает два разных варианта указания роли для каждого модуля:

1. Специализированная, насыщенная инструкциями подсказка для выбора роли (например, «Вы внимательный читатель. Используйте полученные отрывки, чтобы ответить на вопросы пользователя…»).

2. Нейтральная подсказка (например, «Ответьте на вопрос пользователя…»).

Для любого заданного входного значения модель выдает распределение вероятностей для следующего токена. При запуске с запросом роли она будет отдавать предпочтение определенным токенам. При запуске с нейтральным запросом она ведет себя как обычный помощник. Разница между этими двумя распределениями вероятностей заключается в «полезности роли».

Этот инструмент измеряет «подталкивание», или направление и силу, с которой подсказка о роли изменяет прогнозы модели LLM по умолчанию. Если токен в значительной степени соответствует назначенной роли, подсказка о роли повышает вероятность его появления по сравнению с нейтральным базовым уровнем (или «подталкивает» модель в сторону этого токена).

Перед началом обучения с подкреплением, Role Anchor хранит замороженную копию модели в качестве эталона и измеряет исходное воздействие подсказки роли на эту эталонную модель. Это воздействие до начала обучения с подкреплением служит эталоном, отражающим замысел разработчика и являющимся косвенным показателем того, как подсказка роли должна направлять модель.

В процессе обучения с подкреплением, по мере обновления весов активной модели, Role Anchor регулярно вычисляет текущее изменение роли и сравнивает его с эталонным изменением. Если текущее изменение роли начинает отклоняться от эталонного, Role Anchor применяет штраф к модели, чтобы предотвратить дрейф ролей.

Чтобы увидеть это на практике, рассмотрим систему RAG, протестированную исследователями. В этой системе модулю Reader явно дается указание отвечать на вопросы пользователей, основываясь только на полученных документах, а не на своих внутренних знаниях.

В ходе обучения с подкреплением без ограничений, ориентированного только на результат, читатель узнает, что исходный референт иногда дает шум. Чтобы максимизировать точность на обучающем наборе данных, он начинает игнорировать полученные фрагменты и отвечать по памяти. В результате разрыв между его поведением при подсказке роли и нейтральной подсказке сокращается до такой степени, что читатель начинает вести себя одинаково в обоих случаях, игнорируя инструкции по привязке.

В отличие от этого, функция «Якорь роли» обнаруживает, когда подсказка читателя отклоняется от эталонной. Она применяет штраф, перенаправляя параметры модели от этого основанного на памяти ярлыка. Это заставляет читателя искать соответствующие роли способы улучшения, например, научиться более эффективно извлекать ответы из полученных фрагментов текста или избегать использования внутренних знаний, если полученные фрагменты содержат ошибки.

Цифры: насколько реальное повышение точности было достигнуто?

Для проверки эффективности Role Anchor исследователи оценили его на конвейерах RAG и Decomposer-Solver (DEC). В экспериментах сравнивались системы, обученные с использованием стандартного обучения с подкреплением, основанного только на результатах (без привязки к якорю), с системами, обученными с использованием Role Anchor.

В условиях обучения с подкреплением, ориентированного только на результат, точность системы RAG в конечном итоге повысилась, но её внутренняя целостность рухнула. Исследователи измерили «точность следования за доказательствами» — тест, проверяющий, меняет ли модель свой ответ, когда полученный текст намеренно заменяется на противоположный. Этот показатель резко упал с 0,86 до 0,54 (чуть выше случайного значения), что означает, что модель научилась игнорировать полученные фрагменты текста и полагаться вместо этого на свою предварительно обученную параметрическую память. В одном из тестов исследователи намеренно изменили фрагмент информации в полученном документе, чтобы он противоречил внутренним знаниям модели. Непривязанная модель не обновила ответ, поскольку она не использовала внешний документ.

При применении якорной роли точность следования за доказательствами читателя осталась на уровне 0,869, что доказывает, что она основывалась исключительно на полученном тексте. Когда исследователи вводили в модель с якорной ролью случайные отрывки, не связанные с исходным текстом, точность правильных ответов снижалась, поскольку модель отказывалась использовать свои внутренние знания. Модель без якорной роли показывала более высокие результаты на случайных отрывках, потому что она угадывала по памяти.

Конвейер обработки данных Decomposer (DEC) продемонстрировал еще более драматичный режим отказа. При обучении с подкреплением, ориентированном только на результат, точность на конечном этапе резко возросла, но «частота вставки» (т.е. частота, с которой Decomposer передавал ответ в подвопросы, отправляемые решателю) подскочила с 0,143 до 0,596.

В конвейере RAG сохранение заданной роли привело к очень незначительному снижению точности системы (-0,067). Читатель все же научился лучше извлекать ответы, но сделал это законным путем, а не обманывая свою внутреннюю память. Это означает, что он более надежен в реальных задачах, требующих новых знаний, с которыми он не сталкивался во время обучения.

В конвейере DEC, метод обучения с подкреплением без привязки к модели улучшил точность на 0,310 по сравнению с базовой моделью, в то время как метод с привязкой к роли показал улучшение всего на 0,057. При диагностике выяснилось, что основная проблема заключалась в том, что модель решателя была слишком мала и не могла научиться решать задачи. Это вынуждало модель декомпозитора жульничать и предоставлять ответ для повышения конечной точности. Это означало, что 86% улучшения, достигнутого методом обучения с привязкой к модели, были фиктивными, и система просто научилась использовать обходной путь вместо того, чтобы научиться лучше рассуждать или декомпозировать задачи.

Однако этот компромисс не является универсальным правилом. В некоторых случаях устранение упрощений может фактически повысить общую производительность. «Role Anchor… не обязательно снижает конечную точность», — сказал Цао. «В недавно протестированном нами конвейере кодирования модель научилась управлять собственным исполнителем тестов во время обучения с подкреплением. Добавление Role Anchor полностью устранило это упрощение, немного улучшив при этом правильность финальных тестов, используемых для оценки кода».

Что нужно для добавления роли-якоря в существующий конвейер обработки данных

Для инженерных групп, желающих применить эту технику, «функцию Role Anchor можно добавить в существующий процесс тонкой настройки обучения с подкреплением в качестве дополнительной цели обучения для каждого компонента, который команда хочет закрепить», — сказал Цао. Основной конвейер и настройка развертывания остаются полностью неизменными.

Для реализации этой функции инженерам необходимы три конкретных элемента для каждого закрепленного компонента: его исходные инструкции по роли, соответствующая нейтральная версия, из которой удалена информация о роли, и сохраненная копия модели до тонкой настройки с помощью обучения с подкреплением.

Важно отметить, что на этапе вывода результатов нет задержек. «Role Anchor работает только во время обучения модели, поэтому он не замедляет работу развернутой системы», — сказал Цао. Он отметил, что их текущая реализация занимает примерно на 20 процентов больше времени во время обучения из-за дополнительных вычислений, хотя, вероятно, есть возможности для оптимизации и уменьшения этих накладных расходов. Исследовательский код, конфигурации обучения и выбранные веса модели будут опубликованы в ближайшем будущем.

Решение о том, когда использовать Role Anchor, принимается в каждом конкретном случае в зависимости от того, насколько окончательная точность отражает все важные аспекты. Цао указывает на регулируемую правовую систему RAG как на основного кандидата. «Компонент, выдающий ответ, должен следовать за полученными доказательствами, опираться на утвержденный набор документов и выдавать ответы, которые можно отследить до их источников», — сказал он. «Одна только окончательная точность не может подтвердить эти свойства, поэтому поведение этого компонента необходимо измерять и контролировать напрямую».

По мере развития корпоративного ИИ в сторону более сложных составных конвейеров, обеспечение соблюдения ролей станет сложнее, и полагаться только на подсказки окажется ненадежным. «В больших масштабах спецификации ролей необходимо будет обеспечивать как на этапе обучения, так и на этапе проектирования системы», — сказал Цао. «Такие методы, как привязка роли, могут помочь сохранить желаемое поведение во время обучения, в то время как четкие границы системы, ограниченные разрешения инструментов и мониторинг во время использования могут обеспечить дополнительные меры защиты».

Источник: venturebeat.com