Из Anthropic снова уходят «безопасники» За неделю компанию, которая построила…

Из Anthropic снова уходят «безопасники»

За неделю компанию, которая построила весь свой публичный образ вокруг «мы серьёзнее всех относимся к безопасности ИИ», покинули уже два специалиста по безопасности.

9 сентября ушёл Джейкоб Коксон, предупредив, что без должной осторожности ИИ несёт риски, способные привести к вымиранию человечества.

11 сентября свой уход публично объявил Джо Бентон — экс-руководитель команды Scalable Oversight в Anthropic. Его формулировка жёстче: лаборатории гонятся за созданием систем «умнее любого человека», а безопасность при этом системно недофинансируется — потому что отстать от конкурентов обходится дороже, чем рискнуть. Бентон требует от индустрии:

— публичной отчётности о прогрессе к рекурсивному самоулучшению моделей
— раскрытия сбоев и внештатных ситуаций
— единых базовых стандартов безопасности
— независимой верификации со стороны

Бентон ушел в METR — независимую некоммерческую организацию, которая проводит предрелизные оценки рисков для нескольких ИИ-лабораторий.

Показательно, что история не ограничилась только Anthropic: почти синхронно с Бентоном из Google DeepMind по схожим причинам ушёл исследователь Джош Энгельс.

🟣Теги: #безопасность_ии