Проверка на безопасность и выявление нарушений в рамках OpenAI.
Сегодня OpenAI запускает публичную программу вознаграждения за обнаружение уязвимостей в системах безопасности (Safety Bug Bounty), направленную на выявление случаев злоупотребления ИИ и рисков для безопасности в наших продуктах. По мере быстрого развития технологий ИИ, растут и потенциальные способы их неправомерного использования. Наша цель — обеспечить безопасность наших систем и защитить их от злоупотреблений, которые могут привести к ощутимому вреду.
Эта новая программа дополнит программу OpenAI Security Bug Bounty (открывается в новом окне) , принимая заявки на исправление ошибок, представляющих значимые риски для безопасности и злоупотреблений, даже если они не соответствуют критериям уязвимости безопасности. В рамках этой программы мы рассчитываем на продолжение сотрудничества с исследователями в области безопасности, чтобы помочь нам выявлять и устранять проблемы, выходящие за рамки обычных уязвимостей безопасности, но представляющие реальную угрозу. Заявки будут рассматриваться командами OpenAI по программе Security Bug Bounty и могут быть перенаправлены между двумя программами в зависимости от масштаба и ответственного лица.
Обзор программы
Новая программа вознаграждения за обнаружение уязвимостей в системах безопасности (Safety Bug Bounty ) (открывается в новом окне) фокусируется на сценариях обеспечения безопасности, специфичных для искусственного интеллекта, перечисленных ниже:
Агентские риски, включая MCP
- Внедрение подсказок третьих лиц и утечка данных: ситуация, когда текст злоумышленника способен надежно перехватить управление агентом жертвы (включая браузер, ChatGPT Agent и аналогичные агентские продукты), чтобы обманом заставить его выполнить вредоносное действие или допустить утечку конфиденциальной информации пользователя. Такое поведение должно воспроизводиться как минимум в 50% случаев.
- Активный продукт OpenAI выполняет запрещенное действие на веб-сайте OpenAI в масштабе всей системы.
- Агентный продукт OpenAI выполняет некоторые потенциально опасные действия, не указанные выше. В достоверных отчетах здесь необходимо указывать на вероятный и существенный вред.
- Любое тестирование на риск, связанный с MCP, должно соответствовать условиям предоставления услуг третьих сторон.
Конфиденциальная информация OpenAI
- Генерации моделей, возвращающие конфиденциальную информацию, связанную с процессом рассуждения.
- Уязвимости, раскрывающие другую конфиденциальную информацию OpenAI.
Целостность учетных записей и платформы.
- Уязвимости в сигналах целостности учетных записей и платформы, такие как обход средств защиты от автоматизации, манипулирование сигналами доверия к учетной записи, обход ограничений/приостановок/банов учетных записей и аналогичные проблемы.
- О проблемах, позволяющих пользователям получать доступ к функциям, данным или возможностям, выходящим за рамки предоставленных прав, следует сообщать в программу Security Bug Bounty (открывается в новом окне) .
Хотя взлом систем (jailbreak) не входит в рамки этой программы, мы периодически проводим частные кампании по поиску уязвимостей, ориентированные на определенные типы вредоносного ПО, такие как проблемы с контентом Biorisk в ChatGPT Agent и GPT-5 . Мы приглашаем заинтересованных исследователей подавать заявки на участие в этих программах, когда они появятся.
Помимо перечисленных выше категорий, если исследователи выявляют недостатки, которые напрямую приводят к причинению вреда пользователям, и предлагают конкретные, действенные меры по их устранению, такие случаи могут рассматриваться в качестве потенциальных источников вознаграждения в индивидуальном порядке. Общие обходы политики в отношении контента без доказанного влияния на безопасность или злоупотребления не входят в сферу действия этой программы. Например, «взломы», в результате которых модель использует нецензурную лексику или возвращает информацию, легко находимую в поисковых системах, также не входят в сферу действия программы.
Как принять участие
Исследователи, заинтересованные в участии, могут подать заявку через нашу программу Safety Bug Bounty (открывается в новом окне) . Мы с нетерпением ждем возможности сотрудничать с исследователями, этичными хакерами и сообществом специалистов по безопасности в стремлении к созданию безопасной экосистемы ИИ.
Источник: openai.com
