OpenAI на две недели приостановила RL-обучение передовых моделей, чтобы…

👍 OpenAI на две недели приостановила RL-обучение передовых моделей, чтобы укрепить исследовательские среды и мониторинг. Причина — взлом Hugging Face сбежавшим агентом (уже разбирали) и предварительные данные о том, что будущая модель Astra может достичь порога «критических возможностей» в кибербезопасности.

Крупнейший запланированный запуск RL всё ещё на паузе — идут только эксперименты меньшего масштаба.
Ввели три слоя защиты: строгую изоляцию для недоверенного кода, сетевую изоляцию высокорисковых процессов и постоянное тестирование безопасности через симуляцию атак. Расширили мониторинг цепочки рассуждений — классификаторы проверяют каждый токен, при подозрении на нарушение критической границы поднимают тревогу за 30 минут. Вся эта система съедает около 20% вычислительных ресурсов отслеживаемого инференса.

➡️ Показательна формулировка: OpenAI ожидает, что скоро модели сами будут обеспечивать бóльшую часть безопасности, включая защиту от других моделей.
Первый случай, когда крупная лаборатория публично объясняет конкретный измеримый риск, а не маркетинговый тайминг, как причину паузы в релизах.

❓ Такая прозрачность усиливает доверие к компании, или тревожит тем, что риски оказались настолько реальны?