Компания OpenAI ищет нового руководителя, ответственного за изучение новых рисков, связанных с искусственным интеллектом, в таких областях, как компьютерная безопасность и психическое здоровье.
В сообщении на X генеральный директор Сэм Альтман признал, что модели ИИ «начинают создавать серьезные проблемы», включая «потенциальное влияние моделей на психическое здоровье», а также модели, которые «настолько хороши в обеспечении компьютерной безопасности, что начинают обнаруживать критические уязвимости».
«Если вы хотите помочь миру понять, как обеспечить специалистов по кибербезопасности передовыми возможностями, одновременно гарантируя, что злоумышленники не смогут использовать их во вред, в идеале — путем повышения безопасности всех систем, а также аналогично тому, как мы раскрываем биологические возможности и даже обретаем уверенность в безопасности работающих систем, способных к самосовершенствованию, пожалуйста, рассмотрите возможность подачи заявки», — написал Альтман.
В описании вакансии руководителя отдела готовности компании OpenAI говорится, что эта должность предполагает ответственность за реализацию системы готовности компании, «нашей системы, объясняющей подход OpenAI к отслеживанию и подготовке к новым возможностям, создающим риски серьезного вреда».
Компания впервые объявила о создании группы по обеспечению готовности в 2023 году, заявив, что она будет отвечать за изучение потенциальных «катастрофических рисков», будь то более непосредственные, такие как фишинговые атаки, или более спекулятивные, такие как ядерные угрозы.
Менее чем через год OpenAI перевела руководителя отдела готовности Александра Мадри на должность, ориентированную на логическое мышление в области искусственного интеллекта. Другие руководители по вопросам безопасности в OpenAI также покинули компанию или перешли на новые должности, не связанные с подготовкой и безопасностью.
Компания также недавно обновила свою систему обеспечения готовности, заявив, что может «скорректировать» свои требования безопасности, если конкурирующая лаборатория искусственного интеллекта выпустит «высокорискованную» модель без аналогичных мер защиты.
Как уже упоминал Альтман в своем посте, чат-боты на основе генеративного ИИ сталкиваются с растущим вниманием к их влиянию на психическое здоровье. В недавних судебных исках утверждается, что ChatGPT от OpenAI усиливал заблуждения пользователей, усугублял их социальную изоляцию и даже приводил некоторых к самоубийству. (Компания заявила, что продолжает работать над улучшением способности ChatGPT распознавать признаки эмоционального расстройства и направлять пользователей к реальной поддержке.)
Источник: techcrunch.com
