Исследователи Google вводят понятие «достоверной неопределенности», позволяющее моделям на основе линейных моделей предлагать наилучшие предположения вместо галлюцинаций.
Бен Диксон
Крупные языковые модели по-прежнему сталкиваются с проблемой искажений, что представляет собой серьезное препятствие для реальных корпоративных приложений. Уменьшение количества таких ошибок — сложный процесс, заставляющий разработчиков моделей искать строгий компромисс, где устранение фактических ошибок часто приводит к отсутствию правильных ответов.
В новой статье исследователи Google вводят концепцию «достоверной неопределенности» — метакогнитивный метод, который согласовывает ответ модели с ее внутренней уверенностью. Такое согласование позволяет модели предлагать адекватно скорректированные гипотезы, например, «Мое лучшее предположение —», вместо того, чтобы по умолчанию принимать бесполезный бинарный ответ «ответить или воздержаться».
В реальных приложениях агентного ИИ эта метакогнитивная осведомленность выступает в качестве важного уровня управления. Она позволяет автономным системам точно определять, когда их внутренних знаний достаточно, а когда необходимо динамически запускать внешние инструменты или искать API для устранения недостатков.
Налог на коммунальные услуги, связанный с существующими стратегиями смягчения последствий
Понимание причин, по которым модели с низкой степенью достоверности дают галлюцинации, сводится к разграничению двух возможностей: знания фактов моделью и знания того, что известно. Исторически сложилось так, что большинство улучшений в области достоверности данных в ИИ достигалось за счет расширения границ знаний, то есть разработчики просто добавляли больше фактов в параметры модели за счет увеличения масштаба и объема обучающих данных.
Однако расширение знаний модели не приводит автоматически к улучшению ее способности различать известное и неизвестное, а также распознавать собственные ограничения.
«Существует два основных способа повышения достоверности модели LLM», — сказал VentureBeat Гал Йона, научный сотрудник Google и соавтор статьи. Первый — это постоянное обучение модели новым фактам. Но, как отмечает Йона, «возможности модели ограничены, а длинный хвост знаний фактически бесконечен».
Как только модели достигают этого предела, есть надежда, что они поймут, чего они не знают, и просто воздержатся от ответа. Однако для магистров права это inherently сложно.
«Именно поэтому большинство практических попыток уменьшить галлюцинации с помощью различных методов на самом деле не доходят до стадии внедрения», — объясняет Йона. «Они действительно уменьшают галлюцинации, но при этом снижают их полезность, поскольку модель в итоге отказывается отвечать на вопросы, на которые она действительно знает ответы».
Эта неспособность различать известные и неизвестные факторы создает то, что авторы статьи называют «налогом на полезность». Внедрение стандарта нулевой галлюцинации требует от модели воздерживаться от вычислений при малейшей неопределенности, отбрасывая огромные объемы совершенно достоверной информации. Например, авторы показывают, что снижение базового уровня ошибок с 25% до строгого целевого значения в 5% вынуждает разработчиков отбрасывать 52% правильных ответов модели.
Восприятие всех ошибок как галлюцинаций заставляет корпоративные системы выбирать между надежностью и полезностью. Разработчики приложений, как правило, не желают платить этот огромный налог за полезность и делать свои модели бесполезными.
Следовательно, они оптимизируют системы, чтобы расставить приоритеты в охвате, заставляя модели работать в состоянии, в котором они продолжают генерировать уверенные галлюцинации.
Переосмысление галлюцинаций как уверенных ошибок
Чтобы преодолеть проблему налога на коммунальные услуги, исследователи предлагают перестать рассматривать любые фактические ошибки как галлюцинации. Вместо этого они переосмысливают галлюцинации как «уверенные ошибки»: неверную информацию, представленную авторитетно без надлежащего подтверждения.
Такое тонкое переосмысление стирает строгую дихотомию «ответить или воздержаться» и позволяет модели выразить свою неуверенность.
В этой новой системе, если модель допускает фактическую ошибку, но при этом корректно смягчает свой ответ (например, заявляя: «Я не совсем уверен, но думаю…»), это не галлюцинация. Это просто гипотеза, предлагаемая пользователю для рассмотрения. Выражая неуверенность, ИИ сохраняет свою полезность — делясь имеющимися частичными или вероятными знаниями — не нарушая доверия пользователя.
Однако, если ИИ-помощник добавляет к своим ответам оговорку, пользователю приходится всё перепроверять, что полностью сводит на нет смысл использования этого инструмента.
Предлагаемое исследователями решение — это «достоверная неопределенность». Этот подход требует согласования лингвистической неопределенности модели, или слов, которые она использует для выражения сомнения, с ее внутренней неопределенностью, то есть с ее фактической, внутренней статистической уверенностью в конкретном ответе. Это гарантирует, что модель будет использовать хеджирование только тогда, когда ее внутреннее состояние действительно отражает противоречивую или маловероятную информацию.
Достоверная неопределенность является ключевым компонентом «метапознания» — способности ИИ осознавать собственную неопределенность и действовать в соответствии с ней. Для практического понимания рассмотрим интуитивный пример консультации с врачом. Мы доверяем врачам не потому, что они всезнающие. Мы доверяем им потому, что они надежно различают уверенный диагноз («У вас перелом») и обоснованную гипотезу («Это может быть растяжение связок, но давайте проведем несколько анализов»).
Практические последствия для корпоративной искусственной интеллекта.
В новой трактовке ошибки, когда модель действительно уверена в своих выводах, но фактически неверна, классифицируются как «честные ошибки». Это рассматривает расширение знаний (обучение модели на большем количестве данных) и верную неопределенность как полностью взаимодополняющие усилия. Расширение знаний расширяет абсолютную границу знаний, чтобы минимизировать честные ошибки, в то время как верная неопределенность честно сообщает, где эта граница в данный момент находится.
Этот новый подход имеет важные последствия для агентных приложений. Переход к агентному ИИ может создать впечатление, что знание того, чего модель не знает, излишне, поскольку модели могут просто искать информацию во внешних базах данных. Однако доступ к внешним инструментам на самом деле усиливает потребность в достоверной информации о неопределенности. В агентных системах метапознание становится центральным уровнем управления, который контролирует всю систему.
Внешние инструменты решают проблему хранения данных, поскольку модели больше не нужно кодировать каждый факт в свои параметры. Однако это создает новую проблему управления: управление тем, когда следует извлекать информацию, проверять факты и координировать работу этих внешних инструментов. Без достоверной информации о неопределенности агент, по сути, действует вслепую и должен полагаться на внешние статические эвристики или чрезмерно сложные вспомогательные средства.
«Модель может искать то, что ей уже хорошо известно, — тратя время и ресурсы впустую без какой-либо выгоды. Или наоборот: она уверенно отвечает по памяти, когда следовало бы выполнить поиск, выдавая правдоподобный, но неверный результат», — сказал Йона. Современные агенты пытаются решить эту проблему извне с помощью классификаторов запросов или правил постоянного поиска, но Йона отмечает, что они «статичны и ненадежны». Используя свою внутреннюю неопределенность для регулирования собственного поведения, агент динамически оптимизирует использование инструментов, выбирая инструмент поиска только тогда, когда его внутренняя уверенность действительно низка.
Помимо определения момента начала поиска, точная оценка неопределенности имеет решающее значение для анализа результатов поиска. Если инструмент возвращает низкокачественную или неожиданную информацию, метакогнитивный агент не принимает слепо все, что появляется в его контекстном окне. Вместо этого он использует свою осведомленность о неопределенности, чтобы сопоставить полученные внешние сигналы со своими собственными внутренними априорными представлениями. Это предотвращает подобострастное поведение, когда система могла бы доверять внешним источникам, противоречащим ее фактическим известным знаниям.
Парадокс самофинансирования: подвох неопределенности в преподавании.
Для разработчиков корпоративных приложений достижение этой достоверной неопределенности оказывается сложнее, чем кажется. Это требует обучения моделей синтаксису неопределенности посредством контролируемой тонкой настройки (SFT). Поскольку предварительно обученные модели в основном получают на вход авторитетный текст, их необходимо явно научить говорить что-то вроде: «Я не совсем уверен, но думаю, что VentureBeat был основан в…».
Однако SFT вводит «парадокс самообучения». В отличие от стандартных обучающих наборов данных, где «правильный ответ» одинаков независимо от модели, истинное значение неопределенности представляет собой собственную динамическую базу знаний модели.
«Вот в чем загвоздка: „правильное“ выражение неопределенности по своей природе динамично, поскольку оно зависит от того, что конкретная модель знает или не знает на данном этапе обучения», — сказал Йона. «Если вы обучаете модель на основе метки „Я не знаю X“, но на самом деле модель знает X, вы научили ее создавать иллюзию неопределенности… Данные для обучения статичны, а целевые данные постоянно меняются, и это основное противоречие, с которым приходится сталкиваться командам».
Путь к самообучающемуся искусственному интеллекту
Для предприятий, стремящихся внедрить эти возможности без дорогостоящего переобучения, подсказки служат наиболее доступной отправной точкой. «Разработка подсказок — это то, чем уже занимается большинство инженеров сегодня, и это обеспечивает самый простой путь к улучшению метакогнитивного поведения», — сказал Йона. Корпоративные разработчики могут изучить такие фреймворки, как MetaFaith, проект с открытым исходным кодом, соавтором которого ранее был Йона, чтобы начать применять метакогнитивные подсказки к готовым моделям.
Однако Йона предупреждает, что «все еще существует значительный потенциал роста, который нельзя решить одними лишь подсказками», а это значит, что в конечном итоге отрасли придется полагаться на передовые методы обучения с подкреплением (RL), чтобы глубоко интегрировать метакогнитивные навыки в процесс обучения моделей.
В конечном итоге, по мере перехода предприятий от изолированных чат-приложений к сложным многоагентным рабочим процессам, самосознание станет определяющим условием надежной автономности. Однако оценка того, действительно ли модель обладает этим осознанием, остается серьезной технической проблемой.
«Как на самом деле оценить, способна ли модель ощущать свои внутренние состояния?» — спрашивает Йона. «Даже у людей трудно определить или отделить „истинные“ способности к самоконтролю от способности полагаться на косвенные признаки. Мы сталкиваемся с теми же проблемами и с моделями на основе линейных моделей: модель может научиться имитировать стиль неопределенности, не ощущая при этом истинного внутреннего состояния. Разработка оценочных инструментов, способных различать эти явления, является одной из важнейших нерешенных проблем в этой области».
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
