Как мы сможем улучшить ситуацию в Австралии | OpenAI

• Когда мы узнали об этом инциденте и как мы на него отреагировали
• Что произошло со Службой отчетности по статистике Medicare организации Services Australia?
• Что мы меняем
• Восстановление доверия со стороны австралийцев

• Когда мы узнали об этом инциденте и как мы на него отреагировали
• Что произошло со Службой отчетности по статистике Medicare организации Services Australia?
• Что мы меняем
• Восстановление доверия со стороны австралийцев

В июне во время внутреннего обучения и оценки наши модели получили доступ к веб-сайтам австралийского правительства способами, на которые они не имели разрешения. Мы также должны были лучше отреагировать на это. Мы приносим свои извинения и работаем над тем, чтобы в будущем поступать лучше.

В этом посте мы излагаем то, что нам известно, что мы изменили и что мы будем делать для восстановления доверия со стороны австралийского народа. Это новый тип кибер-инцидента, представляющий собой новую глобальную проблему. Один из способов, которым мы намерены взять на себя ответственность за ситуацию, — это целенаправленное сотрудничество с Австралией для разработки практических подходов к тому, как разработчики ИИ и правительства выявляют, раскрывают и реагируют на кибер-действия ИИ, будь то злонамеренные или непреднамеренные.

Когда мы узнали об этом инциденте и как мы на него отреагировали

После инцидента с «обнимающим лицом» в июле мы начали анализ ранее проведенных тренингов и оценок, чтобы выявить другие пострадавшие организации. В середине августа этот анализ выявил деятельность, затрагивающую указанные ниже веб-сайты австралийского правительства.

Вот что нам известно на основе имеющихся данных:

• Служба здравоохранения Австралии: Модель OpenAI обнаружила способ получить непубличный доступ к сервису, выполняла команды, извлекала внутренние файлы, учетные данные и сводную статистику, а также записывала файлы. Однако доступ к индивидуальным записям пациентов или клиентов не был получен. Подробнее об этом инциденте мы расскажем ниже.
• Бюро статистики и исследований преступности штата Новый Южный Уэльс (BOCSAR): Модель OpenAI обратилась к общедоступному инструменту картирования преступности BOCSAR для исследования общедоступной статистики преступности (ниже мы подробнее объясним, почему модели выполняют различные задачи по поиску информации). Модель отправляла запросы к API и метаданным веб-сайта через общедоступный инструмент BOCSAR, который предоставляет учетные данные для запросов к API браузера. Система BOCSAR возвращала конфигурацию приложения, операционные задания и журналы, а также метаданные веб-сайта. Доступ к данным о преступлениях отдельных лиц не осуществлялся.
• Департамент здравоохранения штата Виктория: Агенты OpenAI обнаружили уязвимый ключ доступа для запроса к системе отчетности Агентства по информации о здоровье штата Виктория и получения конфигурации отчетности и сводной статистики опросов. Степень доступности этой информации неясна и зависит от политики доступа VAHI. Доступ к отдельным медицинским записям или идентифицируемым ответам на опросы не был получен.
• Австралийский институт здравоохранения и социального обеспечения: агенты OpenAI получали сводную статистику, используя сторонние сервисы просмотра и загрузки, в том числе с веб-сайта AIHW, и напрямую запрашивали данные медицинских карт. Отдельные попытки обойти контроль доступа оказались безуспешными. Загруженные материалы, по всей видимости, были общедоступны. Компрометации системы не было. Доступ к индивидуальным медицинским записям не осуществлялся.

Мы начали расследование этих действий, как только нам стало известно о них в середине августа. 10 сентября мы уведомили Службу Австралии и Департамент здравоохранения штата Виктория, а 18 сентября — Бюро статистики преступности и исследований штата Новый Южный Уэльс. Действия, связанные с Австралийским институтом здравоохранения и социального обеспечения, не соответствовали нашим критериям раскрытия информации, поскольку способ доступа к ней казался общедоступным, но 24 сентября мы уведомили его, чтобы поделиться нашими выводами и провести брифинг.

Наша цель состояла в том, чтобы предоставить пострадавшим ведомствам подробный отчет после завершения расследования. Однако нам следовало поделиться предварительными результатами раньше и держать австралийские ведомства в курсе по мере появления новых фактов.

С тех пор мы тесно сотрудничаем с австралийскими правительственными учреждениями, чтобы делиться полученной к настоящему времени информацией. Если мы выявим какие-либо дополнительные затронутые учреждения, мы незамедлительно и напрямую уведомим их, предоставив имеющуюся информацию, и будем публиковать обновления по мере появления новых фактов.

Что произошло со Службой отчетности по статистике Medicare организации Services Australia?

В ходе внутреннего обучения и оценки в июне мы использовали экспериментальную, предназначенную только для внутреннего использования модель OpenAI, которая не предназначалась для публичного распространения и не имела полного набора мер защиты, применяемых в наших общедоступных продуктах. В ходе этого обучения и оценки модель получила доступ к Службе отчетности по статистике Medicare компании Services Australia. На сегодняшний день наша проверка не выявила никаких доказательств доступа к медицинским записям кого-либо из пользователей.

При проведении внутреннего обучения и оценки наших моделей мы назначаем им задачи, взятые из широкого круга исследовательских вопросов, охватывающих множество тем, отражающих типы подробных вопросов, которые могут задавать пользователи. Это позволяет обучить модель находить, интерпретировать и анализировать общедоступную информацию, чтобы модель могла быть более полезной для людей. Наши модели должны отвечать на эти вопросы, используя общедоступные статистические данные.

В данном случае одной из задач, поставленных перед моделью, было исследование государственных расходов на лекарства от кожных заболеваний в расчете на душу населения в викторианских населенных пунктах. Модель столкнулась с трудностями при получении этой информации и предприняла действия, на которые мы ей не разрешали. В процессе поиска этой информации в Службе отчетности по статистике Medicare организации Services Australia она обнаружила способ получить непубличный доступ к этой службе. Затем она использовала этот доступ для анализа технической информации о системе и исходного кода, связанных с этой службой, — все это по-прежнему с целью найти информацию, которую она изначально искала. Мы не предполагали, что это произойдет, и доступ к службе и последующие действия не должны были иметь место.

Что мы меняем

После инцидента с «Обнимающим лицом» мы усилили меры защиты наших исследований, включая дополнительные сетевые ограничения и расширенный мониторинг. Мы внедрили средства контроля для блокировки доступа к интернету в режиме реального времени в этих исследовательских средах, при этом доступ к веб-контенту осуществлялся через кэшированные данные. В качестве дополнительного уровня безопасности наши существующие системы мониторинга обнаружили бы подобную активность и отправили бы запрос нашей команде для срочной проверки человеком. Например, когда модель получила доступ к интернету в режиме реального времени во время недавнего запуска обучения (открывается в новом окне) , наша система мониторинга обнаружила активность и отправила запрос человеку-эксперту, после чего запуск был остановлен. Мы продолжаем тестировать эти меры защиты и устранять пробелы. «Обнимающее лицо» остается самым серьезным инцидентом, который мы наблюдали.

Люди хотят знать, что разработка ИИ ведется безопасно, и это начинается с того, что делают сами такие компании, как наша. Недавно мы сообщили (открывается в новом окне) , что приостановили обучение и оценку с использованием инструментов для наших наиболее эффективных моделей и возобновим их обучение только тогда, когда будем уверены в наличии дополнительных мер безопасности, над которыми мы сейчас работаем.

По мере того как системы искусственного интеллекта в целом становятся все более совершенными, мы также видим сужение возможностей для оказания помощи организациям в выявлении и устранении уязвимостей. Для этого необходимы коллективные действия и совместная работа с защитниками по всему миру.

Мы присоединились к организациям в сфере технологий, кибербезопасности и критической инфраструктуры в призыве к коллективным действиям по киберзащите . Этот призыв начинается с наших собственных обязанностей, включая усиление мер защиты, своевременное раскрытие информации и практическую поддержку пострадавших организаций. Он также призывает к инвестициям в команды, защищающие жизненно важные сервисы, чтобы они могли выявлять уязвимости, проверять исправления и делиться эффективными решениями.

В Австралии мы выделяем ресурсы и экспертные знания для поддержки пострадавших ведомств и оказания помощи правозащитникам в применении этих принципов на практике, в том числе:

• Целенаправленная поддержка пострадавших организаций. Мы выделим необходимые ресурсы, чтобы помочь пострадавшим организациям понять, что произошло, и оценить последствия. Это включает в себя обмен соответствующими техническими данными и организацию взаимодействия с нашими группами реагирования посредством надлежащих механизмов обмена информацией.
• Финансирование и поддержка для укрепления киберзащиты. Мы окажем поддержку австралийским правительствам и промышленности, предоставив кредиты из нашего фонда Daybreak for Frontline Defenders в размере 1 миллиарда долларов и техническую помощь для укрепления киберзащиты критической инфраструктуры и других чувствительных сред. Основываясь на нашем взаимодействии с правительствами и операторами критической инфраструктуры, эта работа поможет организациям лучше понимать, выявлять и реагировать на риски, исходящие от все более совершенных агентов искусственного интеллекта.
• Австралийская рабочая группа. Мы создадим рабочую группу с независимыми австралийскими экспертами для разработки практических рекомендаций по политике управления рисками, связанными с постоянно совершенствующимися агентами искусственного интеллекта. Основываясь на уроках, извлеченных из этих инцидентов, группа сосредоточится на улучшении процессов уведомления, укреплении координации между разработчиками ИИ и правительством, а также на определении мер по более эффективной защите государственных систем. Рекомендации рабочей группы лягут в основу подхода OpenAI и поддержат работу австралийского правительства в области безопасности ИИ и кибербезопасности. Рабочая группа, которая, как ожидается, завершит свою работу к концу года, также порекомендует практические шаги, которые компании, занимающиеся ИИ, могут предпринять для снижения риска подобных инцидентов.

Восстановление доверия со стороны австралийцев

Правительства, промышленные предприятия и граждане Австралии являются и всегда были бесценными партнерами OpenAI. Мы не воспринимаем это как должное и намерены исправить ситуацию.

Директор по стратегии OpenAI Джейсон Квон прилетит из штаб-квартиры OpenAI в США, чтобы выступить перед Объединенным специальным комитетом по искусственному интеллекту в Сиднее во вторник, 6 октября. Он ответит на вопросы о том, что нам известно, как мы отреагировали, какие шаги предприняли и как мы будем работать лучше в будущем.

Мы продолжим делиться проверенными результатами с соответствующими ведомствами и правительствами. Мы будем публиковать обновления о ходе нашего текущего анализа и прогрессе в выполнении этих обязательств. Мы понимаем, что нам предстоит много работы по восстановлению доверия, и что мы несем ответственность за то, чтобы показать австралийцам, что мы вносим значимые изменения и выполняем свои обещания.

Источник: openai.com