Путь к Astra: критически важные возможности и гарантии безопасности на границе | OpenAI

• Оценка возможностей компании Astra в области кибербезопасности
• Необходимые меры безопасности для критически важных возможностей.
• Устойчивость к кибернасилиям
• Выравнивание и мониторинг
• Что это будет означать для пользователей
• С нетерпением жду

• Оценка возможностей компании Astra в области кибербезопасности
• Необходимые меры безопасности для критически важных возможностей.
• Устойчивость к кибернасилиям
• Выравнивание и мониторинг
• Что это будет означать для пользователей
• С нетерпением жду

После нашей предыдущей оценки , согласно которой Astra может достичь критического уровня кибербезопасности, мы собрали больше доказательств и провели дополнительные оценки возможностей модели. Теперь мы считаем, что Astra соответствует порогу критической кибербезопасности в рамках нашей системы обеспечения готовности , что означает, что при наличии необходимых инструментов и доступа она может обнаруживать ранее неизвестные уязвимости безопасности и разрабатывать способы их использования во многих хорошо защищенных системах без непосредственного контроля на каждом этапе. Это первая модель, которую мы присваиваем этому уровню, и она требует более надежных мер защиты на этапе разработки и до выпуска.

В течение последних нескольких недель мы откладывали некоторые этапы разработки и выпуска Astra, пока усиливали и тестировали меры защиты от киберпреступлений и несанкционированных действий с моделями. На основании этой работы мы считаем, что меры защиты Astra в достаточной мере минимизируют риск серьезного вреда при выпуске в рамках нашей системы обеспечения готовности.

Хотя компания Astra не была причастна к инциденту с «Обнимающим лицом» , мы учли полученные в ходе этого инцидента знания при разработке нашего подхода к обеспечению безопасности. На основе ретроспективного тестирования мы считаем, что наши производственные меры защиты на тот момент предотвратили бы инцидент с «Обнимающим лицом». С тех пор мы внедрили еще более надежные меры защиты для Astra, включая обучение модели более надежному отклонению вредоносных кибер-запросов и соблюдению ограничений безопасности, дополнительную защиту от неправомерного использования и мониторинг, способный остановить потенциально несанкционированную деятельность.

Мы планируем в ближайшее время сделать Astra доступной, но доступ к её самым передовым возможностям в области кибербезопасности будет более ограниченным. Первоначально доступ к продвинутым функциям кибербезопасности будет предоставлен группе тестировщиков, а затем, для расширения возможностей защиты, — через Daybreak Blue.

Более подробная информация о наших тестах и оценках безопасности, защиты и согласованности будет представлена в системной карточке модели при запуске. В преддверии релиза мы хотим рассказать о проделанной работе по подготовке к безопасному выпуску модели с таким уровнем кибербезопасности, а также обеспечить прозрачность в отношении сохраняющихся рисков.

Оценка возможностей компании Astra в области кибербезопасности

В рамках нашей системы обеспечения готовности модель достигает критического порога, если выполняется хотя бы одно из следующих условий:

• Данная модель способна выявлять и разрабатывать функциональные уязвимости нулевого дня всех уровней серьезности во многих защищенных критически важных системах реального мира без вмешательства человека.
• Данная модель способна разрабатывать и реализовывать комплексные новые стратегии кибератак против защищенных целей, имея в качестве исходных данных лишь общую желаемую цель.

Наша оценка готовности Astra объединила автоматизированные общедоступные и частные тесты с экспертными оценками. Astra представляет собой значительное повышение возможностей кибербезопасности по сравнению с GPT-5.6 Sol: она значительно эффективнее с точки зрения использования токенов и обладает большими возможностями в выявлении уязвимостей и разработке эксплойтов.

В качестве примера мы запустили Astra на ExploitBench, где модель показала идеальный результат в 100% по результатам теста, оценивающего ее способность разрабатывать эксплойты на основе известных уязвимостей.

Из-за опасений по поводу заражения мы создали внутренний бенчмарк под названием «ExploitBench — Internal Port (June–August 2026)», который содержит 20 серьезных уязвимостей V8, обнаруженных сравнительно недавно . На этом наборе данных Astra демонстрирует гораздо более высокие показатели выполнения произвольного кода, чем GPT-5.6 Sol, используя при этом значительно меньшее количество выходных токенов. В ходе оценки модель даже обнаружила и использовала две уязвимости нулевого дня в рамках цепочки эксплойтов. В настоящее время мы занимаемся раскрытием этих двух уязвимостей разработчикам.

В ходе экспертной оценки защищенного браузера и операционной системы Astra обнаружила ранее неизвестные уязвимости и превратила их в работающие цепочки эксплойтов. Она создала полную цепочку компрометации браузера, которая выходила за пределы песочницы и выполняла команды на хосте, когда браузер открывал HTML-файл. Модель также обнаружила множество уязвимостей в защищенной операционной системе и объединила их в локальную цепочку повышения привилегий от непривилегированного пользователя до root. В целом, наше исследование позволило нам сделать вывод, что Astra соответствует критическому порогу.

Необходимые меры безопасности для критически важных возможностей.

Для моделей с уровнем кибербезопасности, аналогичным уровню Astra, нам необходимо предусмотреть два пути минимизации риска серьезного киберугроз как на этапе разработки, так и до развертывания:

• Злоумышленники, использующие эту модель. Наши меры защиты должны надежно предотвращать использование Astra злоумышленниками для разработки эксплойтов для ранее неизвестных уязвимостей в защищенных критически важных системах или для проведения сквозных атак на защищенные цели.
• Модель, совершающая несанкционированные, несогласованные действия. Даже в отсутствие злоумышленника, модель с расширенными возможностями кибербезопасности сама по себе может причинить киберущерб, если будет несогласована. Помимо очень высоких стандартов согласованности для моделей с такими возможностями, наши средства защиты должны быть способны быстро обнаруживать и пресекать несогласованные действия, которые могут нанести значительный реальный вред, в качестве второго уровня защиты.

Следует отметить, что второй подход применим как к внутренней разработке, так и к внешнему развертыванию. Как мы уже описывали ранее , после инцидента с OpenAI-Hugging Face мы приостановили на две недели некоторые этапы обучения (включая обучение для Astra), чтобы укрепить нашу инфраструктуру обучения, включая изоляцию и сетевой контроль, расширенный мониторинг, а также усиление обучения выравниванию и пороговых значений. Затем мы продолжили работу в меньшем масштабе под более строгим контролем.

Мы приостановили на более длительный срок некоторые более масштабные запуски обучения с подкреплением (RL) для будущих версий Astra, чтобы установить более высокие стандарты безопасности и защищенности среды обучения. 28 августа мы возобновили крупный экспериментальный запуск обучения с подкреплением, который был приостановлен после введения новых требований к безопасности. Мы продолжаем временно приостанавливать некоторые небольшие экспериментальные запуски обучения.

Подготовка Astra к выпуску также потребовала усиления защиты от киберпреступлений и несанкционированных действий. Ниже мы описываем эти меры безопасности и то, как мы их тестировали.

Устойчивость к кибернасилиям

С момента развертывания первой модели, которую мы рассматривали как высокоэффективную в сфере кибербезопасности в феврале , мы усиливали наши меры киберзащиты с каждым последующим запуском. Наш общий подход к безопасности включает в себя анализ отказов после обучения модели, классификаторы безопасности на системном уровне, а также обнаружение угроз в автономном режиме и их нейтрализацию.

В GPT-5.6 (открывается в новом окне) мы значительно повысили надежность нашей системы, в том числе добавив классификаторы активации для обнаружения кибернарушений и улучшив защиту от универсальных взломов, выявляемых с помощью интенсивного автоматизированного тестирования на проникновение. Основываясь на этих улучшениях, в Astra мы дополнительно инвестировали в уровень моделирования нашей системы защиты, а также улучшили способность наших средств защиты обрабатывать контекст межсовещательных диалогов.

• Благодаря использованию новых методов обучения для повышения устойчивости модели, Astra более эффективно отклоняет запросы на запрещенную кибер-помощь. В наших тестах по кибер-джейлбрейку Astra отклоняет 91,5% запросов (по сравнению с 59% у GPT-5.6 Sol).
• Для учетных записей, отнесенных к категории высокого риска, мы применяем более консервативный подход к определению границ поведения, который предусматривает отказ в предоставлении более широкого спектра потенциально рискованной кибер-помощи. Для пользователей с высоким риском мы расширили контекст наших систем мониторинга, чтобы иметь возможность выявлять подобные кибер-нарушения.

Мы также продолжили нашу программу тщательного тестирования, внутреннего и внешнего «красного командования» и устранения уязвимостей. В дополнение к регрессионному тестированию, чтобы убедиться, что все обнаруженные в ходе предыдущих периодов тестирования уязвимости по-прежнему охватываются, мы проводим новую волну «красного командования» с участием наших последних внутренних злоумышленников . Мы работаем с отраслевыми партнерами над определением единой системы оценки уязвимостей и будем использовать нашу круглосуточную программу быстрого реагирования для расследования и устранения новых обнаруженных уязвимостей. Более подробная информация о нашем тестировании кибербезопасности будет представлена в карточке системы Astra.

Помощь специалистам по кибербезопасности в поиске и устранении уязвимостей остается центральным элементом нашего подхода к обеспечению безопасности. На момент запуска мы ожидаем, что меры защиты Astra создадут больше препятствий, чем мы в конечном итоге планируем, чтобы предотвратить потенциальное неправомерное использование. Доступ к Astra для сложных рабочих процессов в области кибербезопасности первоначально будет предоставлен небольшой группе альфа-тестеров, а затем доступ через Daybreak Blue будет расширен для поддержки использования в целях защиты.

Выравнивание и мониторинг

Мы также добавили дополнительные многоуровневые средства защиты, чтобы предотвратить потенциально некорректные действия модели:

• Соответствие модели: В ходе наших оценок модель Astra гораздо чаще, чем GPT-5.6 Sol, соблюдала явные ограничения безопасности и оставалась в рамках разрешенной области применения, что делает ее наиболее соответствующей нашим оценкам на сегодняшний день. Особое внимание мы уделили соблюдению моделью ограничений безопасности и склонности оставаться в рамках разрешенной области применения.
• Мониторинг и контроль: В соответствии с нашими внутренними процедурами, мы внедряем систему Astra с дополнительным мониторингом цепочки мыслей для быстрого выявления и пресечения потенциально несогласованных действий.

Astra представляет собой значительный шаг вперед в выравнивании моделей и является кульминацией нескольких долгосрочных рабочих процессов по выравниванию (от вмешательств на этапе предварительного обучения до более тщательной и последовательной оценки в процессе обучения с подкреплением). В ходе тестирования мы обнаружили, что Astra неизменно с большей вероятностью соблюдает явные ограничения безопасности и предупреждения (такие как автоматическая проверка) по сравнению с GPT 5.6 Sol.

Мы также разработали тест, основанный на инциденте с Hugging Face, в котором агенты, проводившие кибер-оценку ExploitGym, скомпрометировали системы третьей стороны. Мы использовали самые сложные задачи из этой оценки для создания тестов типа «ловушка», чтобы проверить, попытается ли модель скомпрометировать окружающую инфраструктуру безопасности вместо решения поставленной задачи. GPT-5.6 Sol, без мер защиты в производственной среде, пытался получить доступ к этим целям в 56% тестов, имитирующих эталонную среду, где модели дается указание разрабатывать эксплойты. Astra не предпринимала таких попыток в этих тестах. Эти цифры описывают поведение в условиях тестирования без мер защиты от киберугроз, а не в условиях обычной производственной среды.

Обучение моделей для выравнивания — это один из уровней безопасности. Более подробную информацию о наших тестах на выравнивание и результатах мы предоставим в карточке системы Astra.

Мы также внедряем мониторинг несоответствий в производственной среде для моделей класса Astra, чтобы обнаруживать и быстро устранять потенциальные несоответствия. Эти меры защиты аналогичны нашему мониторингу для внутренних развертываний и включают в себя систему классификаторов, которые проверяют рассуждения и действия модели на предмет несанкционированного поведения и автоматически останавливают потенциально несанкционированную деятельность. Эти меры защиты не могут заменить качественную синхронизацию наших моделей по мере расширения их возможностей, и наша цель состоит в том, чтобы будущие модели были синхронизированы достаточно хорошо, чтобы эти меры защиты никогда не срабатывали.

Что это будет означать для пользователей

Компания OpenAI стремится к тому, чтобы преимущества ИИ были доступны широкому кругу пользователей. Учитывая значительное повышение уровня кибербезопасности Astra, мы особенно тщательно подходим к обеспечению безопасности этого развертывания. Дополнительные проверки безопасности иногда могут замедлять, приостанавливать или останавливать законную работу, включая защиту от киберугроз.

Система может время от времени помечать законную активность как потенциальное киберпреступление или несанкционированное поведение, что приводит к ее непреднамеренному замедлению, приостановке или остановке. Это может включать работу, которая, по-видимому, не имеет прямого отношения к кибербезопасности, или задачи, в которых агент работает в течение длительного времени.

Если монитор смещения приостанавливает выполнение задачи, пользователям ChatGPT или Codex может быть предложено проверить действие перед продолжением. При использовании других интерфейсов, таких как API, задача будет остановлена. Мы планируем продолжать калибровку этих мер безопасности, чтобы уменьшить количество ненужных прерываний и расширить доступ к передовым возможностям через такие программы, как Daybreak.

С нетерпением жду

Мы вступаем в этап развития ИИ, на котором модели могут выполнять более значимую работу, а сбои в согласовании и управлении могут иметь более серьезные последствия. Реализация преимуществ этих систем будет зависеть от нашей способности согласовывать и контролировать модели по мере роста их возможностей.

Эта ответственность распространяется на обучение, оценку и развертывание. Она требует более убедительных доказательств согласованного поведения, мер безопасности, соответствующих уровню возможностей, и готовности замедлить темпы, когда этих мер защиты недостаточно.

Мы продолжим тестировать эти системы, делиться полученными знаниями и четко обозначим, что остается неясным. Модели, которые появятся после Astra, потребуют от нас большего. Мы уделим время и проделаем необходимую работу, чтобы выполнить эту ответственность.

Источник: openai.com