Компания OpenAI заявила, что замедлила разработку модели Astra из-за опасений по поводу безопасности.

В пятницу компания OpenAI заявила о приостановке работы над некоторыми аспектами своей будущей модели Astra после того, как внутренняя проверка выявила значительные успехи в программировании агентов и кибербезопасности — достаточные для того, чтобы вызвать опасения по поводу ее возможностей.

В пятницу в своем блоге компания OpenAI сообщила, что эта модель, находящаяся в стадии разработки, достигла «критического порога кибербезопасности», что означает, что она может самостоятельно выявлять и осуществлять кибератаки на традиционно хорошо защищенные реальные системы. В соответствии с разработанной компанией в 2023 году «Системой обеспечения готовности», это активировало дополнительные меры защиты.

«Хотя мы продолжаем проводить сравнительный анализ и оценку этой модели, наши предварительные оценки показывают достаточно высокую производительность, чтобы мы не могли исключить критический уровень возможностей на данный момент», — написала OpenAI. «Astra — это новая модель, и она не участвовала в эксплуатации уязвимости Hugging Face».

Раскрытие информации подчеркивает необычный момент в нестабильном и все еще находящемся на начальном этапе развитии секторе передовых лабораторий искусственного интеллекта. Компании во всех отраслях сдерживают выпуск продукции из-за потенциальных рисков, в том числе из-за соображений безопасности и кибербезопасности. Но они редко объявляют об этих решениях публично, когда речь идет о продукте, находящемся еще в стадии разработки.

В данном случае OpenAI уже находится под пристальным вниманием после того, как другая, еще не выпущенная модель взломала системы Hugging Face во время внутреннего тестирования — это первый подтвержденный случай потери контроля над своей моделью лабораторией ИИ. С тех пор OpenAI и такие лаборатории ИИ, как Anthropic, раскрыли другие инциденты, в которых модели ИИ нарушали свои «песочницы» и представляли угрозу во время тестирования кибербезопасности.

Череда подобных случаев — кажется, каждый день появляются новые — вызвала неоднозначную реакцию у экспертов по кибербезопасности, законодателей и самих лабораторий искусственного интеллекта. Некоторые выражают опасения и призывают к более строгому надзору. Но есть и определенная доля самоутверждения. В определенных кругах любая лаборатория ИИ, создавшая модель с подобными возможностями, будет рассматриваться как впечатляющий прогресс.

В OpenAI заявили, что делятся этой информацией, поскольку считают «важным быть прозрачными с общественностью и сообществами, занимающимися вопросами безопасности, относительно этого потенциального изменения возможностей».

Лаборатория ИИ заявила, что также принимает меры, включая введение более строгих мер безопасности и приостановку внутренней деятельности, связанной с Astra, которая не соответствует этим усиленным требованиям. OpenAI сообщила, что сотрудничает с соответствующими государственными учреждениями и «избранными организациями, занимающимися вопросами безопасности ИИ», для тестирования возможностей этой модели.

Источник: techcrunch.com