«Стрессовая работа»: Сэм Альтман ищет того, кто скажет GPT «стоп»

Сэм Альтман объявил о поиске руководителя отдела Preparedness — человека, который будет оценивать риски моделей OpenAI и влиять на решения о их запуске. «Это будет стрессовая работа, и вам придется сразу прыгнуть в самую гущу событий», — предупредил он. Предыдущий глава отдела Александр Мадри был переведен на исследовательский проект в июле 2024 года; с тех пор постоянного руководителя нет, хотя временное управление взяли на себя Хоакин Киньонеро Кандела и Лилиан Вэн.

Preparedness — это не классическая команда кибербезопасности. Отдел занимается катастрофическими рисками от возможностей самих моделей: может ли ИИ помочь создать биооружие, найти уязвимости в критических системах, манипулировать людьми. Команда строит систему оценки этих способностей, определяет пороговые значения и встраивает их в процесс допуска к релизу — при превышении порогов требуются дополнительные меры защиты или блокировка запуска.

Почему Альтман называет момент «критическим» объясняют события последних месяцев. В декабре OpenAI предупредила, что будущие модели могут приблизиться к порогу High по киберрискам. По определению компании, это означает способность создавать работающие zero-day эксплойты против защищенных систем или проводить сложные операции по проникновению в инфраструктуру.

Параллельно OpenAI столкнулась с кризисом в области влияния на пользователей. По данным расследования The New York Times, журналисты выявили около 50 случаев, когда люди переживали психические кризисы во время общения с ChatGPT. На ноябрь 2025 года против компании подано как минимум семь исков. Сама OpenAI оценивает, что примерно 0,07% пользователей (около 560 тысяч человек) еженедельно демонстрируют признаки маниакального или психотического состояния. В своем посте Альтман назвал влияние моделей на ментальное здоровье «превью» будущих проблем ИИ. Эти вопросы исторически решали другие команды OpenAI, но в описании новой вакансии зона ответственности Preparedness обозначена шире.

Новый руководитель отдела будет отвечать за стратегию оценки рисков, разработку защитных мер в области кибербезопасности и биоугроз, а также за интерпретацию результатов тестирования перед запуском. OpenAI также создает Frontier Risk Council — совет с участием внешних экспертов по кибербезопасности, который в будущем расширится на другие области рисков.

Источник: habr.com

Источник: ai-news.ru