Новый водяной знак Клода, посвященный «Алой букве», пока невидим.

Этот знак отмечает все, что обрабатывал Клод, даже рукописный текст, который он только редактировал.

«Посмотрите на этот нежный кремовый оттенок. На его изысканную плотность. Боже мой, здесь даже есть водяной знак». Автор фото: Аурих Лоусон | «Американский психопат» (Lions Gate Films )

Компания Anthropic сообщила, что вскоре начнет наносить водяные знаки на контент, обработанный (а не просто сгенерированный!) любой из ее моделей. В статье службы поддержки Anthropic пояснила, что внедрение машиночитаемых водяных знаков необходимо для соблюдения Закона Европейского союза об искусственном интеллекте, который требует от всех поставщиков систем ИИ наносить водяные знаки на аудио-, графические, текстовые и видеофайлы, созданные или обработанные с помощью ИИ. Закон распространяется на все модели ИИ, выпущенные после 2 августа, и предоставляет льготный период до декабря 2026 года для обновления ранее выпущенных моделей.

Компания Anthropic подтвердила, что в дальнейшем все новые модели, предлагаемые по всему миру, а не только в ЕС, будут маркировать контент, созданный с помощью ИИ, «с самого начала». Текстовые файлы будут «содержать встроенные водяные знаки», невидимые для пользователя, а другие «сгенерированные файлы будут включать метаданные с цифровой подписью, подтверждающие происхождение, где это поддерживается», — заявила Anthropic.

Примечательно, что Anthropic применяет подход «уничтожить с орбиты», нанося водяные знаки на весь обработанный контент там, где это поддерживается, даже несмотря на то, что ЕС не требует этого в случаях, когда система ИИ выполняет «вспомогательную функцию для стандартного редактирования» (в качестве примера в руководстве приводится исправление грамматики) или когда она не «существенно изменяет» текст пользователя или его смысл.

Водяной знак, нанесённый на уровне модели, не может отличить генерацию контента целиком от исправления запятой, поэтому Клод может в итоге поставить водяной знак именно на тот контент, который, согласно закону, должен оставаться без изменений. Насколько тщательно он действительно наносит водяные знаки, станет известно только после того, как Anthropic выпустит инструмент обнаружения, который можно будет протестировать. Компания заявила, что планирует в конечном итоге поделиться подробностями о том, как обнаруживать знаки, чтобы оказывать техническую поддержку, требуемую законодательством ЕС.

Компания Anthropic также отметила, что водяные знаки не будут работать на «некоторых платформах или функциях», которые их не поддерживают. Для нетекстового контента Anthropic будет использовать подход метаданных C2PA для записи происхождения.

Легко ориентироваться, легко допустить ошибки.

Подход, описанный ЕС и реализованный компанией Anthropic, к сожалению, очень легко обойти злоумышленникам, в то же время он потенциально наказывает пользователей, которые доверяют системе в плане точной маркировки результатов. Текстовые водяные знаки работают за счет смещения выбора слов моделью по определенному шаблону, распространенному по всему документу, и обнаруживаются только в совокупности с помощью подходящего инструмента. Подвох в том, что «невидимость» также может означать, что модель иногда заменяет лучшее слово на чуть худшее, просто чтобы сохранить сигнал.

Компания Anthropic отметила, что эти знаки «будут перемещаться вместе с текстом при его копировании и вставке в другое место и могут сохраняться после редактирования». Но если текст с водяным знаком вставляется в другую систему чат-ботов, которая редактирует текст, водяной знак может быть уничтожен. В случае с изображениями и видеоконтентом для удаления этой информации также достаточно сделать скриншот/записать видео или использовать любой подходящий инструмент для редактирования метаданных. И как только Anthropic расскажет миру, как распознавать эти водяные знаки, создание системы для их удаления станет тривиальной задачей.

Кроме того, существует высокая вероятность неправильного толкования; водяной знак не особенно информативен. Компания Anthropic пояснила, что «обнаруженный знак сигнализирует о том, что контент был обработан Клодом, но не является окончательным доказательством». Единственное реальное сообщение, которое передает этот знак, заключается в том, что «контент мог быть обработан Клодом», — заявила Anthropic, — и знак может даже появляться на контенте, который не был создан Клодом.

Кроме того, существует широкая публика, которая может не понимать разницу между обработанным текстом и полностью сгенерированным текстом. Если система помечает водяным знаком текст, написанный человеком, просто потому, что он был отредактирован в процессе работы, который взаимодействует с Клодом, то внезапно он приобретает то же значение, что и полностью сгенерированный текст. И все это в системе, где «отсутствие обнаруженной метки не означает, что контент не был сгенерирован или обработан искусственным интеллектом», — заявили в Anthropic.

Клод может пометить больше контента, созданного с помощью ИИ, чем требуется.

К чести Anthropic, компания признает, что может помечать некоторый контент, для которого Закон об искусственном интеллекте не требует маркировки: «Люди часто используют Claude для проверки орфографии, перевода, составления резюме или преобразования файлов. Результат может содержать знак Claude, даже если исходные идеи, текст или данные были получены из другого источника». Таким образом, несмотря на явное исключение, предусмотренное законом, Claude будет помечать любую работу по редактированию оригинального текста.

Если водяные знаки станут универсальным средством для любого применения Claude, от проверки орфографии до полной переработки текста, решение Anthropic, вероятно, вызовет недовольство пользователей, поскольку оно выходит за рамки необходимого, маркируя контент таким образом, что это может непреднамеренно запутать происхождение. Например, преподаватель или профессор не должны интерпретировать этот водяной знак как что-либо, кроме «это было изменено ИИ», но легко представить, что они это сделают. В конце концов, какой смысл в водяном знаке, который не может отличить легкое редактирование от полностью сгенерированного текста?

Ситуация становится еще более запутанной, когда мы обращаемся к другому разделу Закона ЕС об ИИ, 50(4), который касается того, как те, кто публикует такой текст, должны явно маркировать контент. В соответствии с их режимом маркировки, полностью сгенерированный ИИ текст в большинстве случаев не требует маркировки. Роман, написанный ИИ? Никакой маркировки. Маркетинговый текст, сгенерированный ИИ? Нет. Но если текст предназначен для «информирования общественности по вопросам, представляющим общественный интерес», его необходимо маркировать, если только он не был проверен человеком (то есть редактор известен и несет ответственность). Таким образом, мы имеем странную ситуацию, когда на уровне модели это «нанести водяной знак на все», а в плане публичного раскрытия информации это «вам не нужно маркировать этот текст, созданный ИИ, даже если бы его посмотрел Джо».

Издание Ars обратилось к компании Anthropic с вопросом о сроках публикации подробной информации об обнаружении нарушений или результатах тестирования, оценивающих вероятность ложноотрицательных или ложноположительных результатов. Мы также спросили, может ли Anthropic прокомментировать возможное противоречие своих водяных знаков стандартным правилам редактирования и другим исключениям из Закона об искусственном интеллекте, но Anthropic прислала заявление, в котором не были даны ответы на вопросы Ars.

«Мы добавляем маркировку к результатам работы Клода, чтобы соответствовать Закону ЕС об искусственном интеллекте, и другие лаборатории предпринимают аналогичные шаги», — заявили в Anthropic. «Идентифицировать текст, сгенерированный ИИ, сложно, и это дает людям лучшие инструменты для идентификации. Текст из поддерживаемых моделей Клода, включая результаты работы Claude Code, будет содержать невидимый водяной знак, и это не меняет смысла, качества или читаемости ответов Клода. Мы также планируем выпустить API для распознавания текста, чтобы пользователи могли делать больше подобных вещей самостоятельно».

Веселье только начинается

В ЕС требования к прозрачности призваны гарантировать, что инструменты ИИ, такие как Claude, не подорвут «целостность и доверие к информационной экосистеме, не создадут новых рисков дезинформации и манипуляций в больших масштабах, мошенничества, выдачи себя за другое лицо и обмана потребителей». В одной из статей поддержки ЕС прогнозировалось, что эти обязательства станут «основной проблемой соблюдения требований» для многих компаний, занимающихся ИИ.

«Люди должны знать, когда они взаимодействуют с ИИ или сталкиваются с контентом, созданным ИИ», — говорится в рекомендациях Европейской комиссии. «Это поможет им принимать обоснованные решения, оценивать уровень доверия к ИИ и избегать дезинформации или обмана». Тем не менее, трудно согласовать это с тем фактом, что полностью сгенерированная статья по вопросу, представляющему общественный интерес, получает водяной знак, но не читаемую метку, если редактор должным образом ее проверил.

ЕС ожидает, что компании, занимающиеся разработкой ИИ, такие как Anthropic, находятся в наилучшем положении для создания решений по водяным знакам, поскольку ИИ развивается быстро, и будет сохраняться «постоянная потребность в новых методах и технологиях для отслеживания происхождения информации».

Однако это в значительной степени оставляет определение социальной ценности таких знаков на усмотрение технологических компаний, поскольку ЕС лишь устанавливает, что «методы и технологии должны быть достаточно надежными, совместимыми, эффективными и устойчивыми в той мере, в какой это технически возможно».

В своем сообщении компания Anthropic заявила, что планирует продолжить работу над своими водяными знаками и методами обнаружения, которые соответствуют требованиям ЕС. Если разработанные Клодом метки окажутся неэффективными, Закон об искусственном интеллекте предусматривает серьезные санкции за нарушения, включая штрафы до 15 миллионов евро или 3% от годового дохода компании по всему миру.

В подготовке этого материала принимал участие главный редактор Ars Кен Фишер. 13 августа в статью было добавлено заявление от Anthropic.

Источник: arstechnica.com