Предупреждения компании Anthropic о безопасности, возможно, обернулись против правительства — оно отключило свой самый мощный ИИ.

В пятницу правительство США приказало компании Anthropic немедленно отключить доступ к двум своим самым мощным моделям искусственного интеллекта — Claude Fable 5 и Claude Mythos 5 — сославшись на соображения национальной безопасности. Компания Anthropic объявила на платформе X, что выполнила это требование, но ясно дала понять, что, по ее мнению, правительство допустило ошибку в этом вопросе.

Согласно директиве, которую компания Anthropic получила в пятницу в 17:21 по восточному времени, она обязывает компанию отключить обе модели для всех пользователей по всему миру, а не только для иностранных граждан, на которых формально был направлен правительственный указ об экспортном контроле. Доступ к другим моделям Anthropic не затрагивается.

Почему всё это имеет значение? Mythos — самая мощная модель ИИ от Anthropic, которую компания представила в начале апреля и с тех пор держит в строгой изоляции из-за её, как описывает Anthropic, исключительной способности обнаруживать уязвимости в программном обеспечении. По данным Anthropic, Mythos выявила недостатки во всех основных операционных системах и веб-браузерах, которые она тестировала, поэтому вместо широкого распространения компания запустила контролируемую программу под названием Project Glasswing, предоставив доступ к ней примерно 50 проверенным организациям, включая Amazon, Apple, Google, Microsoft и CrowdStrike, для использования в целях кибербезопасности.

Выпущенная всего три дня назад Fable 5 стала ответом Anthropic на очевидное коммерческое давление: версия Mythos, оснащенная защитными механизмами, блокирующими реакции в областях высокого риска, таких как кибербезопасность и биология, что, по утверждению компании, делает ее достаточно безопасной для широкого распространения. Согласно тестам Vals AI, компании, отслеживающей производительность технологий ИИ, она сразу же стала самой мощной моделью ИИ, доступной для широкой публики.

Правительственная директива представлена как мера экспортного контроля, ограничивающая доступ иностранных граждан к моделям. Однако в длинном сообщении в блоге компания Anthropic заявляет, что, по ее мнению, основная проблема заключается в предполагаемом взломе Fable 5. Пока что, по словам компании, правительство предоставило лишь устные доказательства «потенциального узкого, не универсального взлома» — взлома, который, как описывает Anthropic, сводится к тому, чтобы заставить модель прочитать определенный код и выявить программные ошибки. И, кстати, добавляет компания, это «уровень возможностей», который уже широко доступен в других общедоступных моделях, включая GPT-5.5 от OpenAI. Он также регулярно используется специалистами по кибербезопасности в целях защиты, отмечает Anthropic.

Основной аргумент Anthropic заключается в том, что её самые надёжные средства защиты работают через независимые системы классификации, функционирующие отдельно от самой модели. Это означает, что даже если кто-то убедит Fable продолжать говорить после отказа, основные средства защиты от наиболее опасных результатов остаются в силе. Компания также отмечает в своём сообщении, что анализ недавнего использования не выявил никаких доказательств успешного обхода этих средств защиты для создания действительно вредоносного контента.

Очевидно, что ничто из этого не остановило правительство, и Anthropic не скрывает своего разочарования. «Мы не согласны с тем, что обнаружение потенциально уязвимого способа взлома должно быть основанием для отзыва коммерческой модели, развернутой для сотен миллионов людей», — написала компания. «Если бы этот стандарт применялся ко всей отрасли, мы считаем, что это фактически остановило бы развертывание всех новых моделей для всех поставщиков, работающих с новыми моделями».

Ожидается, что компания Anthropic проведет IPO в этом году, и она во многом построила свой имидж на том, чтобы быть более безопасной альтернативой своим конкурентам. Наблюдатели понимают иронию ситуации: та самая осторожность, которую Anthropic проявила, ограничивая использование Mythos — модели, которую она рекламировала как настолько опасную, что ее нельзя было публично демонстрировать, — теперь, по-видимому, привлекла именно тот государственный контроль, который может серьезно подорвать ее бизнес.

Сэм Альтман из OpenAI, по крайней мере, наверняка получает от этого удовольствие. В апреле он заявил ведущей подкаста Эшли Вэнс, что действия Anthropic в отношении Mythos равносильны «маркетингу, основанному на страхе». «Это явно невероятный маркетинг — говорить: „Мы создали бомбу. Мы собирались сбросить её вам на голову. Мы продадим вам бомбоубежище за 100 миллионов долларов“», — сказал Альтман. Альтман, чья компания, как ожидается, также планирует как можно скорее провести IPO, не предсказал приостановку работы правительства, но он выделил то, что сейчас обернулось против Anthropic: когда вы месяцами рассказываете миру о том, что ваш ИИ уникально опасен, мир — включая правительство США — склонен прислушиваться.

Источник: techcrunch.com