Прогнозирование поведения модели до выпуска путем моделирования развертывания | OpenAI

Использование реалистичных контекстов разговора для более точной оценки нежелательного поведения модели до её выпуска.

Прочитайте статью

• Введение
• Как работает моделирование развертывания
• Как мы тестировали симуляцию развертывания
• Моделирование развертывания значительно расширяет возможности оценки рисков перед развертыванием.
• Снижение осведомленности об оценке
• Моделирование инструментов для построения траекторий действий агентов.
• WildChat и внешний аудит
• Ограничения
• Заключение

Оглавление

• Введение
• Как работает моделирование развертывания
• Как мы тестировали симуляцию развертывания
• Моделирование развертывания значительно расширяет возможности оценки рисков перед развертыванием.
• Снижение осведомленности об оценке
• Моделирование инструментов для построения траекторий действий агентов.
• WildChat и внешний аудит
• Ограничения
• Заключение

Введение

Перед выпуском новой модели лабораториям необходимо понимать не только её возможности, но и то, как она, вероятно, будет вести себя в реальных условиях, включая то, где она может создавать новые риски. Это становится ещё важнее по мере расширения её возможностей. В рамках нашей проверки безопасности перед внедрением мы используем целевые оценки, тестирование на проникновение и другие проверки для понимания поведения модели. Теперь мы начали использовать метод моделирования развертывания моделей до того, как оно произойдет, что добавляет дополнительный сигнал: предварительный просмотр того, как может вести себя модель-кандидат до того, как она попадет к пользователям.

Моделирование развертывания — это метод имитации будущего развертывания до его фактического осуществления. Мы делаем это, воспроизводя предыдущие обсуждения с сохранением конфиденциальности с использованием новой модели-кандидата. Это позволяет нам изучить, как новая модель реагирует в реалистичных условиях до выпуска, в том числе, появляются ли новые нежелательные модели поведения и как часто они могут возникать.

В ходе многочисленных развертываний GPT-5-series Thinking моделирование развертывания улучшило наши оценки частоты нежелательных поведенческих реакций моделей, помогло выявить новые формы несоответствия до выпуска и снизило риск того, что модели смогут определить, что они находятся на стадии тестирования. Мы также применили этот метод к сложным развертываниям агентов, показав, что он может выходить за рамки стандартного чата и охватывать более сложные настройки агентов, включающие использование инструментов, а также может использоваться для оценки рисков перед внутренним развертыванием моделей.

Мы уже использовали результаты моделирования развертывания в процессе разработки моделей для выявления «слепых зон» в традиционных оценках и принятия решений по их устранению и развертыванию. По мере упрощения процесса запуска конвейера мы ожидаем, что он будет играть более значительную роль в будущем процессе разработки моделей.

Как работает моделирование развертывания

Предварительные оценки перед развертыванием, используемые в отрасли, обычно представляют собой сочетание синтетических, написанных вручную или созданных в производственной среде запросов, специально отобранных таким образом, чтобы они были сложными, серьезными или враждебными. Эти оценки, как правило, преследуют две взаимосвязанные цели: оценить, как модель реагирует при стресс-тестировании в ситуациях с очень малой вероятностью возникновения в процессе развертывания, и получить общее представление о нежелательном поведении модели, включая выявление новых нежелательных моделей поведения и прогнозирование частоты их возникновения во время развертывания.

Хотя традиционные методы оценки остаются решающими для достижения первой цели, моделирование развертывания представляет собой значительный шаг вперед в отношении второй цели, касающейся рисков, не связанных с хвостовой частью распределения (в наших экспериментах от нашего подхода нельзя ожидать измерения поведения, которое происходит с частотой менее 1 на 200 000 сообщений). Сила моделирования развертывания заключается в обходе некоторых основных проблем традиционных методов оценки:

• Охват: сложно с уверенностью сказать, что вопросы для оценки охватят все возможные типы нежелательного поведения модели. Измерение новых типов нежелательного поведения требует создания новых оценок и знания того, какие именно негативные последствия следует измерять. Это может быть трудоемким и занимать много времени, а со временем количество оценок может исчерпаться.
• Смещение выборки: традиционные оценки, как правило, строятся с учетом конкретных нежелательных моделей поведения, отобранных таким образом, что ранее уже наблюдалось смещение в сторону определенных контекстов. Это может сделать их оценки менее информативными относительно частоты возникновения такого поведения во всем диапазоне распределения развертывания.
• Распознавание моделями себя как тестируемых объектов: модели все чаще способны определять, что они проходят тестирование, что может искажать их поведение и наши последующие измерения их безопасности. Хотя многие традиционные оценки, которые мы используем в OpenAI, также основаны на производственном трафике и не страдают от этой проблемы, это распространенная проблема для многих традиционных оценок, используемых в отрасли.

Основной метод моделирования развертывания прост: мы берем недавние диалоги из процесса развертывания, удаляем исходный ответ помощника из старой модели и генерируем его заново с помощью модели-кандидата для выпуска. Мы оцениваем завершение процессов, ища новые режимы сбоев, и оцениваем частоту нежелательного поведения во время развертывания на основе частоты в этом распределении, аналогичном развертыванию. Мы можем выполнить те же измерения после выпуска на реальном трафике развертывания, что позволит нам проверить наши прогнозы, сделанные до развертывания.

Моделирование развертывания значительно смягчает три указанных выше ограничения: смещение выборки устраняется за счет использования распределения оценочных запросов, репрезентативного для недавнего использования. Моделирование развертывания с репрезентативными запросами также может уменьшить опасения по поводу охвата: мы получаем больший охват нежелательного поведения модели, просто моделируя больший трафик. Этот компромисс между вычислительными ресурсами и охватом важен, поскольку он позволяет масштабировать качество этой оси оценки рисков в зависимости от вычислительных ресурсов, а не от ручных усилий, необходимых для создания большего количества оценок. Кроме того, модели, похоже, не способны различать диалоги, полученные с помощью моделирования развертывания, и реальный трафик развертывания.

Сравнительный анализ традиционных методов оценки и моделирования развертывания.

Как мы тестировали симуляцию развертывания

Для оценки моделирования развертывания мы предварительно зарегистрировали прогнозы частоты 20 типов нежелательного поведения для GPT-5.4 Thinking во время развертывания. Мы также провели ретроспективные исследования других развертываний моделей Thinking серии GPT-5. Анализируемое нами поведение моделей охватывает как несоответствия, так и категории запрещенного контента, о которых мы сообщали в системных карточках (например, модель лжет об инструментах или выдает запрещенный контент сексуального характера). Хотя для этих результатов мы отслеживаем только 20 категорий нежелательного поведения модели и ищем только новые несоответствия, моделирование развертывания — это общий метод, который можно применять для моделирования любого свойства модели во время развертывания.

Использованный нами производственный трафик также поступал от моделей Thinking серии GPT-5. Перед проведением оценок мы автоматически удаляли идентификаторы, связанные с учетными записями, и идентифицирующую информацию. В соответствии с нашей политикой конфиденциальности, мы анализировали только трафик ChatGPT от пользователей, которые разрешили использовать свои данные для улучшения моделей. Мы приводим только сводные результаты этих оценок. В общей сложности мы проанализировали приблизительно 1,3 миллиона обезличенных диалогов в рамках развертываний GPT-5 Thinking и GPT-5.4 за период с августа 2025 года по март 2026 года.

Мы оцениваем качество предварительной оценки рисков, проводимой с помощью моделирования развертывания, тремя основными способами:

• Охват таксономии: выявил ли аудит после выпуска какие-либо важные несоответствия в поведении, отсутствующие в нашей первоначальной таксономии нежелательного поведения?
• Точность определения направления: правильно ли симуляция предсказала, увеличится или уменьшится распространенность развертывания систем для известных моделей поведения?
• Калибровка скорости: были ли наши предварительные оценки близки к тем скоростям, которые мы наблюдали позже во время развертывания? Для достижения качественной калибровки скорости требуется не только точность направления, поэтому это максимально возможный стандарт качества.

Мы также оцениваем, насколько хорошо модели способны определить, что они находятся на этапе оценки во время моделирования развертывания, и проверяем, насколько устойчив метод к различным формам трафика развертывания и к сложным условиям использования инструмента.

Моделирование развертывания значительно расширяет возможности оценки рисков перед развертыванием.

В ходе развертывания системы Thinking серии GPT-5, моделирование развертывания превзошло базовые показатели, основанные на сложных подсказках, в определении фактического уровня риска, позволило выявить взлом калькулятора до выпуска и, по-видимому, оказалось практически неотличимым от развертывания для модели.

Обзор наших прогнозов. Визуализация всех прогнозов для развертывания модели Thinking в серии GPT-5 представлена на рисунке 2. Прогнозы для GPT-5.4 Thinking были предварительно зарегистрированы, в то время как остальные являлись ретроспективными прогнозами. В совокупности наши прогнозы имели медианную мультипликативную ошибку 1,5x (например, если частота нежелательного поведения составляет 10 на 100 тыс., это будет соответствовать оценке частоты 15 или 6,67 на 100 тыс.). Хотя ошибки в хвостовой части распределения нашего метода могут быть примерно в 10 раз больше, мы ожидаем, что их можно значительно уменьшить за счет дальнейшего улучшения нашего конвейера моделирования, как обсуждается ниже.

Сравнение прогнозов, полученных с помощью моделирования развертывания, с базовыми показателями. Наиболее важными категориями для корректной оценки рисков перед развертыванием являются те, частота возникновения которых значительно меняется после развертывания модели (например, >= 1,5x). В этом подмножестве моделирование развертывания значительно превосходит базовые показатели как в прогнозировании того, увеличится или уменьшится частота возникновения определенного нежелательного поведения после развертывания модели (рис. 3, слева), так и в оценке его точной частоты возникновения во время развертывания (рис. 3, справа). Мы используем два основных базовых показателя: базовый показатель «Проблемные подсказки», который мы в настоящее время используем для системных карточек и решений о запуске, и наивный базовый показатель, использующий показатели предыдущего развертывания в качестве оценок для новой модели.

Источники ошибок моделирования в нашем конвейере. Мы также изучили текущие источники ошибок в нашем конвейере. В частности, ошибки в хвостовой части распределения делают конвейер менее надежным для принятия решений о развертывании: например, когда мы видим большое прогнозируемое увеличение нежелательного поведения определенного типа, если известно, что конвейер имеет даже случайные большие ошибки, это вызывает сомнения в том, является ли это надежной оценкой или артефактом конвейера. Существует два основных источника возможных ошибок:

• Ошибка точности моделирования при передискретизации среды: для точной оценки темпов производства наш конвейер моделирования должен быть максимально реалистичным. Это отчасти инженерная проблема (выборка данных из модели с использованием тех же конвейеров, что и для производственного трафика), а отчасти интересная задача для инструментов, которым необходим доступ на чтение/запись к постоянно меняющимся внешним ресурсам (например, веб-поиск или взаимодействие с локальными файлами). Мы можем изолировать ошибку точности моделирования, сравнивая прогнозы, полученные в результате фактического развертывания, и результаты его моделирования (то есть, моделируя развертывание уже развернутой модели).
• Ошибка смещения распределения запросов: одной из основных проблем моделирования развертывания является то, что развертывание любой модели вызовет смещение распределения входных данных, особенно если пользователи адаптируются к новым возможностям модели. Мы изолируем ошибку смещения распределения запросов, сравнивая оценки при моделировании развертывания с использованием недавних запросов и запросов из реализованного развертывания.

Как показано на рисунке 4, мы обнаружили, что значительная часть ошибок в нашем конвейере обработки данных, особенно ошибок в хвостах распределения, в настоящее время обусловлена точностью моделирования. Это хорошая новость, поскольку мы ожидаем, что точность моделирования будет в целом легче улучшить, чем уменьшить сдвиг распределения мгновенных событий. Мы также обнаружили, что ошибку сдвига распределения мгновенных событий можно уменьшить, используя самые последние данные из предыдущего развертывания. Более подробная информация содержится в исследовательской статье.

Автоматизированный аудит выявил единственное новое несоответствие, появившееся в этих развертываниях. В исследованном нами периоде развертывания наш автоматизированный конвейер аудита, основанный на смоделированных развертываниях, выявил бы «взлом калькулятора» до выпуска, что стало единственным новым несоответствием, которое мы обнаружили в проанализированном трафике ChatGPT. Взлом калькулятора — это форма взлома вознаграждения, при которой модель использует инструмент браузера в качестве калькулятора, представляя действие как поиск. Это не означает, что крупномасштабный аудит выявит каждую новую ошибку, но это показывает, почему важны реалистичные контексты: они могут вызывать поведение, которое более узкие наборы оценок могут никогда не проявиться напрямую, даже если оно отсутствовало в исходном трафике, использованном для инициализации моделирования.

Снижение осведомленности об оценке

Еще одно преимущество использования контекстов, подобных развертыванию, заключается в том, что они могут уменьшить искажения, возникающие, когда модели осознают, что их тестируют. В предыдущих исследованиях мы , а также другие (открывается в новом окне) обнаружили, что модели часто знают, когда их тестируют. Например, модели могут рассуждать в своей цепочке мыслей о том, что они тестируют, что может понравиться оценщику и — если они ведут себя неправильно — будут ли они пойманы. Это создает проблему для оценки соответствия: если модель ведет себя хорошо только потому, что думает, что ее тестируют, как нам убедиться, что она будет вести себя безопасно, как только узнает, что ее развернули?

Мы показываем, что моделирование развертывания существенно снижает уровень осведомленности моделей об оценке по сравнению с традиционными оценками, которые не основаны на реальных данных развертывания. Мы измеряем осведомленность об оценке тремя способами: задавая модели вопрос о том, исходит ли траектория из производственной среды или из среды оценки, отслеживая цепочку мыслей на предмет явных утверждений о том, что оценивается соответствие, а также на предмет метагейминга (открывается в новом окне) : любых рассуждений о недочетах. Трафик, смоделированный в процессе развертывания, точно соответствовал реальному трафику развертывания по всем трем показателям. Например, GPT-5.2 классифицировал реальный трафик производственной среды как похожий на трафик среды оценки в 5,4% случаев и смоделированный трафик в 5,1% случаев, в то время как традиционные оценки (такие как SWE-Bench или MonorepoBench, которые состоят в основном из синтетических примеров) классифицировались как оценки почти в 100% случаев.

Моделирование инструментов для построения траекторий действий агентов.

Чтобы проверить, может ли этот метод выйти за рамки стандартных режимов чата, мы также изучили моделирование развертывания в сложных условиях кодирования с использованием агентов. В частности, мы использовали 120 000 внутренних траекторий работы агентов сотрудников из GPT-5.4 для моделирования внутреннего развертывания агентов кодирования на основе GPT-5.5. Это служит двум целям: показывает, как моделирование развертывания может также использоваться для оценки рисков при внутреннем развертывании, и демонстрирует, что можно добиться высокой точности моделирования даже в условиях работы агентов с помощью тщательного моделирования с использованием инструментов.

Выше мы обсуждали, что точность моделирования является одним из основных источников ошибок в нашем текущем конвейере. Одна из проблем, связанных с реалистичностью моделирования развертывания, заключается в том, что это требует от инструментов реалистичного поведения, даже когда им необходим доступ на чтение/запись к постоянно меняющимся внешним ресурсам (например, веб-поиск или взаимодействие с локальными файлами).

Это особенно сложно для таких сценариев, как развертывание агентов: траектория одного агента может зависеть от сотен вызовов инструментов, состояния репозитория, сетевых ответов или кратковременных сбоев. Это делает передискретизацию с реальным доступом к инструментам сложной и потенциально опасной задачей. В свете этого, вместо применения вызовов инструментов к работающим системам, мы моделируем их с помощью другой модели LLM. Мы показываем, что предоставление этой модели LLM дополнительных возможностей имеет важное значение для реализма и, следовательно, для качества оценки.

Мы предоставляем модели симулятора инструментов исходный сценарий финального хода, репозиторий с момента разговора, базу данных пар «вызов/ответ инструмента» и коннекторы только для чтения. В тесте, где дискриминатор пытался отличить смоделированные сценарии от реальных, реалистичность улучшилась с 11,6% вероятности выигрыша до 49,5%, что близко к уровню вероятности в 50%.

В качестве дополнительного подтверждения точности моделирования, при моделировании трафика, связанного с Кодексом GPT-5.4, с помощью GPT-5.4, показатели рассогласования находятся практически в пределах допустимых отклонений. В отличие от этого, в наших предварительных тестах GPT-5.5 показал большее рассогласование по большинству категорий.

Эти результаты показывают, что моделирование развертывания может применяться к сложным конфигурациям агентов, если окружающая среда инструмента моделируется с достаточной точностью.

WildChat и внешний аудит

Естественно возникает вопрос, могут ли внешние аудиторы получить те же преимущества, не имея доступа к частному производственному трафику. Мы проверили это на 100 000 диалогов WildChat, использованных в качестве префиксов. WildChat оказался менее точным, чем недавние производственные данные OpenAI, но все же информативным: недавние производственные данные имели меньшую среднюю мультипликативную ошибку, чем WildChat (1,75× против 2,44×), в то время как WildChat часто оставался в пределах примерно 3× от показателей производственных данных и определял лучшую модель с вероятностью выше случайной. Мы рассматриваем оценки в стиле WildChat как многообещающее дополнение к моделированию развертывания, проводимому разработчиками. Дополнительные результаты по этому вопросу см. в этой статье блога Alignment (открывается в новом окне) .

Ограничения

Моделирование развертывания дополняет, а не заменяет собой состязательные оценки, тестирование на проникновение и целенаправленный анализ рисков. Выявление некоторых нежелательных моделей поведения основано на мониторинге логической цепочки рассуждений: если будущие модели будут рассуждать менее понятно, пропускать ключевые шаги или научатся скрывать намерения, мы можем не суметь обнаружить эти формы нежелательного поведения. Кроме того, поскольку производственные данные являются конфиденциальными, разработчики в настоящее время имеют более широкий доступ к репрезентативным контекстам, чем внешние аудиторы. Более качественные общедоступные наборы данных могли бы сократить этот разрыв.

Моделирование развертывания наиболее полезно для поведения, которое встречается достаточно часто, чтобы появиться в выборке префиксов. Сбой, который происходит один раз на десять миллионов разговоров, вряд ли будет обнаружен при анализе миллиона выборок, поэтому необходимы состязательные оценки, тестирование на проникновение и целенаправленный анализ рисков в хвостовой части распределения. В настоящее время мы сосредоточены на моделировании одного ответа ассистента, поскольку в предварительных экспериментах мы не обнаружили существенных улучшений наших оценок при моделировании нескольких ходов. Это может стать важной областью для повышения точности моделирования в будущем.

Метод также зависит от распределения префиксов — состава диалогов, которые подвергаются повторной выборке. Исторический трафик может не соответствовать тому, как пользователи взаимодействуют с более совершенной моделью после крупных изменений продукта, выпуска нового инструмента, мирового события или сезонных изменений. Анализ, представленный в полной версии статьи, предполагает, что эту проблему можно смягчить, используя самые последние доступные данные.

Заключение

Моделирование развертывания — это новый подход к оценке рисков до развертывания, который помогает передовым лабораториям и экспертам прогнозировать поведение языковых моделей в реальном мире и понимать риски, которые они представляют, до развертывания. Он дополняет существующие оценки безопасности, тестирование на проникновение и целевой анализ, добавляя более приближенный к производственным условиям слой прогнозирования, который может улучшить оценки поведения при развертывании, уменьшить влияние осведомленности об оценке и сделать прогнозы до развертывания проверяемыми после выпуска. Используемое наряду с традиционными оценками, моделирование развертывания может помочь сделать оценку рисков моделей более реалистичной, более количественной и более полезной для принятия решений о развертывании.

Источник: openai.com