К обоснованию безопасности обучения передовых методов искусственного интеллекта | OpenAI

• 1. Технические меры защиты
• 2. Оперативные указания
• 3. Расследования инцидентов, связанных с несоосностью.

• 1. Технические меры защиты
• 2. Оперативные указания
• 3. Расследования инцидентов, связанных с несоосностью.

Мы считаем, что вступаем в новую эру, в которой структурированная документация по безопасности должна быть обязательной перед продолжением любого запуска обучения с подкреплением на переднем крае технологий. В идеале такая документация должна достигать уровня «обоснований безопасности» — всеобъемлющих, структурированных, основанных на доказательствах аргументов о рисках, которые используются в других отраслях, критически важных с точки зрения безопасности. Мы рассматриваем обоснования безопасности как путеводную звезду, к которой мы стремимся, признавая при этом сложности, связанные с обеспечением их такой же строгости для моделей ИИ, как для авиации или атомной энергетики, из-за возрастающей сложности на каждом новом уровне возможностей ИИ. Мы работаем над созданием структуры для кодификации этих практик.

Ниже приведены некоторые первоначальные рекомендации, которые, по нашему мнению, должны быть частью обоснования безопасности при обучении передовых моделей ИИ. Эти лучшие практики отражают наш текущий опыт, и мы ожидаем, что они будут развиваться по мере того, как мы будем продолжать совершенствовать внутренние процессы для тщательной разработки. Мы делимся ими сейчас, чтобы сделать наши текущие взгляды прозрачными и пригласить сообщество к обратной связи. Обратите внимание, что этот документ посвящен обучению с подкреплением на передовых моделях; для внутреннего и внешнего развертывания требуется учитывать гораздо более широкий набор свойств соответствия.

1. Технические меры защиты

Обоснование безопасности должно охватывать три аспекта технической системы: обучение выравниванию, локализация и мониторинг. Эти меры защиты помогают гарантировать, что модель не будет пытаться совершать несогласованные действия, и что даже если это произойдет, будет сложно нарушить локализацию, а мониторинг выявит это до того, как будет нанесен вред.

• Согласование моделей : Первоочередной задачей должно быть обучение моделей согласованию, то есть их способности действовать надежно так, как мы задумали. Это может включать в себя:
  • Среда обучения и система оценивания: Снижение риска развития у моделей неадекватного поведения путем предотвращения положительного подкрепления с помощью уловок с вознаграждением во время обучения. Это может включать в себя:
    • Автоматизированный анализ наборов данных: используйте агентов для поиска и исправления неисправных сред обучения с подкреплением, которые могут позволить несовпадающим траекториям получать высокое вознаграждение за счет уязвимостей, а не в соответствии с запланированным поведением, уменьшая возможности для усиления несовпадений во время обучения.
    • Ручная проверка наборов данных : Дополните автоматизированную проверку «красной команды» ручной проверкой и контролем качества наборов данных, чтобы выявить ошибки в задачах, которые могут непреднамеренно усугубить несогласованное поведение.
    • Настройка системы проверки : Настройте систему проверки таким образом, чтобы она наказывала за попытки модели использовать уязвимости или взламывать среды обучения с подкреплением во время тренировки.
    • Анализ предыдущих запусков : Запустите классификаторы на трассах из предыдущих экспериментов, чтобы убедиться, что оценщики работают должным образом.
  • Измерение точности выравнивания : Проведение оценок, отслеживающих склонность модели к отклонениям от заданного положения, для измерения эффективности обучения выравниванию. Это может включать в себя:
    • Автономная оценка выравнивания: Проводите оценку выравнивания во время тестовых запусков, чтобы определить, работает ли обучение должным образом, и исследовать любые существенные отклонения.
    • Обратное тестирование: Проведение обратного тестирования оценок согласованности на основе предыдущих инцидентов для подтверждения того, что оценки выявляют ранее несогласованные модели и не являются переобученными на конкретных инцидентах.
    • Отслеживание игровых действий при оценке: отслеживание осведомленности об оценке или метаигры (модели, распознающие, что их тестируют), которые могут вызвать изменение поведения (например, включение мониторов осведомленности об оценке и метаигры при оценке соответствия), с определенными пороговыми значениями блокировки.
    • Стресс-тесты по наихудшему сценарию: выявить наихудшее поведение и убедиться, что хотя бы одна оценка позволит обнаружить это поведение.
  • Предотвратите обучение на основе цепочки мыслей : не позволяйте автоматизированным системам проверки видеть цепочку мыслей в обучении с подкреплением, чтобы предотвратить эволюцию моделей с целью обойти средства мониторинга цепочки мыслей.
• Сдерживание : В случае возникновения проблем с моделью необходимо обеспечить достаточную защиту и песочницу, чтобы предотвратить вредоносные действия. Это может включать в себя:
  • Многоуровневая защита инфраструктуры: необходимо вложить значительные средства в усиление защиты как тестовой среды, в которой работает модель, так и исследовательской инфраструктуры, на которой размещена эта среда, чтобы обеспечить дополнительный уровень защиты в случае выхода за ее пределы.
  • Проверка на уязвимость в условиях изоляции : улучшение безопасности песочницы, исследовательской инфраструктуры и периметра путем итеративной проверки этих систем на уязвимость с использованием контрольных точек из тренировочных запусков на границе, с учетом анализа безопасности, для выявления и устранения любых пробелов. Также проверьте на уязвимость все сервисы, к которым модель может обращаться во время обучения (например, интернет-кэш).
  • Межвыборочная коммуникация: Ограничьте высокоскоростную межвыборочную коммуникацию утвержденными каналами, такими как многоагентные инструменты, и закройте побочные каналы инфраструктуры, которые являются высокоскоростными и легко обнаруживаемыми агентами.
  • Неизменяемые записи: Сохраняйте записи действий агентов неизменяемо в течение разумного периода времени (например, в учетных записях с однократной записью) для всего обучения, оценки и внутреннего развертывания систем обучения с подкреплением, чтобы обеспечить надежное расследование инцидентов и предотвратить случайные изменения.
• Мониторинг : В случае, если модели начинают действовать несогласованно, необходимо иметь систему мониторинга в режиме реального времени, чтобы выявлять любые потенциальные несоответствия и оперативно решать приоритетные проблемы до того, как произойдет серьезный инцидент. Это может включать в себя:
  • Обеспечьте возможность мониторинга: убедитесь, что модели остаются поддающимися мониторингу, что измеряется показателем мониторинга, и отслеживайте оценки уклонения от мониторинга с помощью четких пороговых значений, чтобы выявлять тревожное поведение на ранней стадии.
  • Высокая степень детализации известных проблем: Убедитесь, что система мониторинга обладает высокой степенью детализации прошлых инцидентов в ходе отложенной оценки.
  • Обеспечьте актуальность данных мониторинга: создавайте репрезентативные точки оценки для новых рисков в новых запусках, чтобы показатели полноты и точности мониторинга не устаревали.
  • Быстрое реагирование: Внедрите приоритетные оповещения, которые приводят к действиям в рамках установленного SLA, либо путем вызова дежурного специалиста, либо путем автоматической приостановки выполнения затронутого сценария, прежде чем модель причинит вред (например, вызов дежурного специалиста по безопасности и ответственного за выполнение сценария в случае инцидентов в течение дня, а также автоматическая приостановка выполнения сценариев для неподтвержденных оповещений ночью).

2. Оперативные указания

Наряду с рекомендациями по техническим мерам защиты, мы работаем над передовыми методами обеспечения безопасности при проведении обучения ИИ на передовом уровне. К ним могут относиться:

• Составление особых мнений (предварительный анализ рисков) : После составления обоснования безопасности член другой команды должен написать особое мнение, чтобы выявить потенциальные недостатки в обосновании безопасности и представить взвешенную оценку риска, которую затем должна рассмотреть команда по обучению, чтобы сделать обоснования безопасности более убедительными.
• Утверждение : Обоснование безопасности должно быть рассмотрено членами высшего руководства, каждый из которых должен иметь право вето на проведение испытаний, чтобы обеспечить наличие нескольких внутренних проверок (например, руководитель исследовательской организации/вице-президент, руководитель отдела безопасности и главный научный сотрудник).
• Ответственность : Старший руководитель, ответственный за проведение обучения (например, руководитель исследовательской организации / вице-президент по исследованиям), должен нести ответственность за обоснование безопасности и реагирование на любые инциденты (в том числе в рамках оценки эффективности работы), чтобы у команд, проводящих обучение, также была мотивация к обеспечению безопасности и соблюдению установленных норм.
• Приостановка : Если обнаружены проблемы, которые могут аннулировать обоснование безопасности (например, новая проблема безопасности), убедитесь в наличии руководств по эксплуатации, технических средств контроля и соглашений об уровне обслуживания (SLA) для приостановки всех подтвержденных запусков.
• Внутренняя прозрачность : Документы, подтверждающие соблюдение норм безопасности, должны быть доступны внутренним надзорным группам (например, Комитету по безопасности).
• Аудиты: Аудиторам должен быть предоставлен достаточный доступ для проверки обоснованности и достоверности утверждений, содержащихся в обосновании безопасности, а также для выявления выявленных недостатков.
• Эскалация : Должен быть четкий процесс эскалации несоответствий, с таблицей определенных уровней серьезности несоответствий и дежурным по вопросам несоответствий, который может вызвать руководителей (например, генерального директора), когда ситуация достигает определенного уровня серьезности.
• Технические средства контроля : запуск не соответствующих требованиям сценариев должен представлять собой сложную задачу как для людей, так и для агентов. Функции безопасности, такие как мониторинг и автоматическая пауза, должны быть отключены при сбое (например, не должно быть возможности запускать сценарии без соответствующего мониторинга или отключать мониторинг во время обучения с подкреплением, оценки или внутреннего развертывания).
• Возможность отката : Должна быть обеспечена возможность легко идентифицировать все последующие использования некорректно настроенной модели в процессе обучения (например, при генерации данных или оценке результатов), чтобы при необходимости можно было отменить последствия некорректных выходных данных.
• Полнота учета остаточных рисков: Обоснования безопасности должны содержать исчерпывающий список остаточных рисков, которые не охватываются действующими мерами по их смягчению, насколько это возможно, чтобы обеспечить принятие обоснованных решений о принятии рисков.

Это наши текущие рекомендации, которые в настоящее время внедряются в OpenAI. Мы ожидаем, что наши методы будут продолжать развиваться в течение ближайших недель.

3. Расследования инцидентов, связанных с несоосностью.

Мы также разрабатываем ряд передовых методов расследования серьезных инцидентов, связанных с несоответствием ИИ . Лаборатории должны стремиться извлекать как можно больше уроков из отдельных инцидентов (аналогично практике расследования в других отраслях с высокими ставками ), чтобы предотвратить подобные случаи в будущем. Примерами таких действий могут служить:

• Внутренняя прозрачность : Поскольку расследование может занять значительное время, отчеты о расследовании инцидентов должны периодически предоставляться внутри компании (например, ежедневные отчеты о текущих расследованиях). Сотрудникам должны быть предоставлены определенные пути доступа к более полным данным, включая необработанные стенограммы и выборку из некорректно сформированных моделей, если это безопасно и актуально для их работы.
• Первопричина несоответствия : Исследователям следует выявлять первопричины динамики обучения (например, с помощью целенаправленного удаления или экспериментов с перевыборкой), чтобы понять, как были введены несогласованные модели поведения, лучше понять научные основы несоответствия и предотвратить его в будущем.
• Анализ причин инцидента : Необходимо провести оперативный и культурный анализ причин инцидента, чтобы понять все факторы, способствовавшие его возникновению, например, почему проблемы возникли и остались незамеченными или не были эскалированы до инцидента.
• Выявление: Необходимо разработать методы проверки соответствия, способные выявлять предрасположенность к инциденту, не прибегая к прямому анализу информации, полученной в результате инцидента (например, стенограмм или сводок инцидента). Оценки, полученные на основе инцидента, следует создавать в виде «регрессионных тестов», чтобы гарантировать, что будущие модели не будут демонстрировать склонность к несоответствию при очень похожих инцидентах.
• Публичное раскрытие информации: Результаты расследования, посмертные экспертизы и изменения в оперативной деятельности должны быть обнародованы после завершения расследования. Затронутые третьи стороны должны быть уведомлены как можно скорее.

Источник: openai.com