Водяной знак SynthID от Google сложно взломать, но он не решает проблему дезинформации об ИИ.

В будущем будет непросто определить, что является правдой в интернете.

Фото: Аурих Лоусон Фото: Аурих Лоусон

Масштабы медиаконтента, созданного с помощью ИИ, трудно оценить в полной мере.

Исследовательская лаборатория Starling Lab, созданная в результате сотрудничества Стэнфордского университета и Университета Южной Калифорнии, подсчитала, что человечеству потребовалось до 1975 года — 149 лет после изобретения камеры — чтобы создать 1,5 миллиарда изображений. Генеративному искусственному интеллекту потребовалось всего 18 месяцев, чтобы сделать то же самое. И на этом ИИ не остановился.

Весной этого года Google объявила на конференции I/O, что ее инструменты были использованы для создания более 100 миллиардов изображений и видео, созданных с помощью ИИ, всего за пару лет, и Google далеко не единственный источник контента, созданного с помощью ИИ. Компания сопроводила эту ошеломляющую статистику множеством партнерских соглашений для расширения использования своей технологии водяных знаков SynthID, которая может использоваться для маркировки контента, созданного с помощью ИИ, и потенциально помогать людям определять, что является реальным.

Компания утверждает, что SynthID достаточно надежен, чтобы выдерживать редактирование, и мы скоро увидим это на практике, когда OpenAI, Runway, Nvidia и другие начнут его использовать. Могут ли невидимые водяные знаки решить проблему контента, созданного с помощью ИИ?

Практически несмываемый след

В настоящее время существует два подхода к маркировке контента, созданного с помощью ИИ: невидимые водяные знаки, такие как SynthID, и схемы метаданных, такие как Coalition for Content Provenance and Authenticity (C2PA). Google использует оба подхода для маркировки своего контента, созданного с помощью ИИ, но C2PA не предназначен для того, чтобы скрываться на виду, как водяной знак. Он криптографически защищен, поэтому его невозможно подделать, но удалить C2PA очень просто. Просто отредактировав и сохранив изображение или сделав снимок экрана, можно удалить C2PA.

Водяные знаки, такие как SynthID, кодируются в пикселях изображения или видео, либо в форме звуковой волны аудиоклипа. Контент, передаваемый по Интернету, ухудшается из-за сжатия, изменения размера и редактирования, но Google утверждает, что SynthID должен сохраняться даже в широко известных мемах. Ученый Google DeepMind Пушмит Коли объяснил Ars, что команда проделала большую работу, чтобы гарантировать, что SynthID является надежным способом маркировки контента, созданного с помощью ИИ.

«На протяжении всего процесса разработки мы исходили из предположения, что подобная технология будет подвергаться атакам», — сказал Коли. «Поэтому мы провели много исследований, чтобы сделать SynthID устойчивым к различным видам преобразований. Независимо от того, добавляют ли люди какие-либо фильтры или обрезают изображение, мы использовали эти преобразования и убедились, что детектор устойчив к ним».

Google неохотно предоставляет подробные технические характеристики SynthID, помимо оригинальной статьи, поэтому стоит проверить эти утверждения по мере распространения технологии в сфере искусственного интеллекта. Но у кого есть время ждать, пока изображения, полученные с помощью ИИ, естественным образом ухудшатся при передаче по Интернету?

Я использовал библиотеку Python Pillow для имитации потери данных при многократной передаче и загрузке с очень высокой скоростью. Скрипт на Python выбирает случайные значения сжатия и изменения размера в заданных диапазонах для применения к тестовому изображению, а затем использует полученное изображение в качестве основы для следующей итерации.

В этом тесте рассматривались два типа изображений, созданных с помощью ИИ: одно, полностью созданное с нуля моделью, и оригинальное фото, отредактированное ИИ. Оба изображения, сгенерированные Nano Banana Pro, содержат водяной знак SynthID, и никакое редактирование метаданных не может его скрыть.

Полностью сгенерированное искусственным интеллектом тестовое изображение. Google AI. Полностью сгенерированное искусственным интеллектом тестовое изображение. Google AI Тестовое изображение, отредактированное с помощью Google AI. Google AI Тестовое изображение, отредактированное с помощью Google AI. Google AI Тестовое изображение, полностью сгенерированное ИИ. Google AI Тестовое изображение, отредактированное с помощью Google AI. Google AI

Я начал с изображений выше, используя оригинал и отредактированные тесты. Вероятно, все согласятся, что ни одно из них не является реальным — политика не является чем-то вроде метала, и моя собака не наполовину дракон (поверьте мне на слово). Я сотни раз пропускал эти изображения через машину для обработки изображений, превращая четкие оригиналы в едва узнаваемые пятна. Каждые 50 поколений я также создавал обрезанные версии изображений (без перекодирования), удаляя потенциальные пиксели SynthID, чтобы еще больше ослабить обнаружение.

После 300 поколений имитации совместного использования мы получили следующие полнокадровые изображения:

Изображение, полностью сгенерированное искусственным интеллектом после 300 циклов сжатия (SynthID сохранен). Google AI Изображение, отредактированное ИИ после 300 циклов сжатия (SynthID сохранен). Google AI Изображение, отредактированное ИИ после 300 циклов сжатия (SynthID сохранен). Google AI Полностью сгенерированное ИИ изображение после 300 циклов сжатия (SynthID сохранен). Google AI Изображение, отредактированное ИИ после 300 циклов сжатия (SynthID сохранен). Google AI

И посмотрите — водяной знак SynthID по-прежнему работает на обоих изображениях. Вы можете убедиться в этом сами, загрузив изображения в Gemini и запросив проверку SynthID. Вы даже можете сделать скриншот всего изображения, и система всё равно пометит его как SynthID, потому что специальные пиксели переносятся в новый файл.

Поскольку пиксели SynthID распределены по всему изображению, они также устойчивы к обрезке… по крайней мере, до определенного момента. Именно здесь мы, наконец, обнаруживаем пределы возможностей SynthID. После 300 итераций сжатия удаление нескольких пикселей с границ наших тестовых изображений в конечном итоге привело к сбою SynthID (как отредактированных, так и полностью обработанных ИИ). Эти версии (см. ниже) были обрезаны на 20 процентов, но этого достаточно, чтобы сделать SynthID необнаружимым. Более крупная обрезка на 50 процентов может привести к сбою SynthID немного раньше, примерно после 250 итераций сжатия изображения.

Небольшой фрагмент этого сжатого изображения, полученного с помощью ИИ, успешно удаляет SynthID. Google AI Небольшой фрагмент этого сжатого изображения, полученного с помощью ИИ, успешно удаляет SynthID. Google AI После небольшой обрезки это сильно сжатое изображение, отредактированное с помощью ИИ, больше не содержит SynthID. Google AI После небольшой обрезки это сильно сжатое изображение, отредактированное с помощью ИИ, больше не содержит SynthID. Google AI Небольшая обрезка этого сжатого изображения, отредактированного с помощью ИИ, успешно удаляет SynthID. Google AI После небольшой обрезки это сильно сжатое изображение, отредактированное с помощью ИИ, больше не содержит SynthID. Google AI

Эти изображения могут быть некрасивыми, но ничто (кроме содержания) не доказывает, что они созданы искусственным интеллектом.

Остерегайтесь водяных знаков.

Судя по моим тестам, качество SynthID может постепенно ухудшаться, но к этому моменту изображения становятся бесполезно размытыми. Так решили ли мы проблему дезинформации, распространяемой ИИ? Не так быстро. Впечатляет, что SynthID может выдерживать агрессивное редактирование и потерю данных, но у водяных знаков ИИ есть ряд существенных проблем.

SynthID — не единственная технология нанесения водяных знаков с использованием ИИ. Компания Meta недавно выпустила свой водяной знак Content Seal AI, но агентство Reuters обнаружило, что простая обрезка изображений часто позволяет удалить водяной знак. Тот факт, что SynthID сейчас кажется надежным инструментом, не означает, что все попытки незаметно маркировать контент, созданный с помощью ИИ, будут успешными.

Google также не утверждает, что SynthID неуязвим — в оригинальной статье о технологии отмечается, что водяной знак не предназначен для противостояния враждебным атакам. Вполне возможно, что кто-то, у кого достаточно времени и мотивации, найдет способ обойти SynthID. Некоторые люди уже заявляли об успешном взломе SynthID, но нам не удалось подтвердить это с помощью тестирования. Коли из Google также говорит, что его команде не удалось воспроизвести предполагаемые обходные пути.

Тем не менее, безопасность никогда не бывает идеальной. Если SynthID удастся успешно обойти, что кажется вполне вероятным, если его популярность продолжит расти, все эти миллиарды изображений и видео, созданных с помощью ИИ, могут в мгновение ока остаться без маркировки. Google может оказаться в игре в кошки-мышки, обновляя стандарт для блокировки подобных атак. Google быстро отмечает, что SynthID не является панацеей для цифрового благополучия. Но SynthID становится гораздо более крупной мишенью. Google и OpenAI в настоящее время используют эту технологию в большинстве сегментов потребительского ИИ.

Команда, стоящая за SynthID, разработала планы по борьбе со хакерскими атаками, но, по словам Коли, Google должна держать большую часть этой информации в секрете. «Конечно, мы можем изменить водяной знак, — сказал Коли. — В нашем распоряжении много средств. Я не могу публично раскрыть многие из этих мер, потому что они помогают нам обеспечить защиту всей системы».

По крайней мере, некоторые аспекты модели безопасности SynthID становятся очевидными, когда вы пытаетесь его использовать. Google не хочет предоставлять людям легкий путь для атаки на SynthID, поэтому доступ намеренно ограничен. Если вы видите подозрительное изображение, созданное с помощью ИИ, вам нужно попросить Gemini связаться с верификатором — API или общедоступной веб-страницы детектора SynthID нет.

Это не единственное ограничение. Чтобы предотвратить использование последовательных проверок ИИ для настройки обходного процесса, Google ограничивает SynthID «примерно 10 проверками изображений» в день. В ходе моих тестов верификатор блокирует доступ еще быстрее, если вы загружаете слишком много похожих изображений. Если вы подозреваете, что изображение может быть сгенерировано ИИ более нескольких раз в течение дня, вам может не повезти. В то время, когда политики с удовольствием используют ИИ для очернения и нападок на оппонентов, проверка правды не должна сопровождаться периодом ожидания.

Даже если у вас есть доступ к инструментам обнаружения ИИ, какой из них вам следует использовать? По мере того, как Google внедряет эту технологию в другие компании, водяные знаки быстро становятся фрагментированными. Хотя такие компании, как OpenAI и Runway, выбрали использование базовой технологии SynthID для маркировки контента ИИ, сами водяные знаки различаются. Например, детектор Google не распознает водяной знак OpenAI, а детектор OpenAI не распознает водяной знак Google. Таким образом, доступ к SynthID не только ограничен, но вы можете пропустить изображение ИИ через несколько детекторов и все равно ничего не найти, потому что оно было сгенерировано другой системой, о которой вы даже не знаете.

Представитель Google заявил, что команда осведомлена о том, что нынешний уровень аутентичности недостаточен, и у нее есть нечеткие планы по его улучшению. «Мы активно сотрудничаем с отраслевыми партнерами, чтобы сделать проверку более доступной и унифицированной. Наша цель — создать более совместимую экосистему, которая обеспечит более бесперебойную работу на разных платформах», — сказал он.

Из бутылки

Возможно, проблемы с удобством использования водяных знаков можно решить. Но в лучшем случае это будет лишь один из элементов определения подлинности. Водяные знаки в ИИ никогда не будут лучшим решением по одной простой причине: всегда будут существовать способы создания контента для ИИ без какой-либо маркировки.

Бесчисленное множество компаний предлагают услуги по созданию изображений и видео, и вряд ли все они согласятся использовать технологии водяных знаков или даже метаданных. Что еще важнее, вам не нужно полагаться на централизованные системы крупных технологических компаний для создания некачественного контента, созданного с помощью ИИ.

«Я думаю, что более серьезная проблема здесь заключается не только в изображениях, создаваемых такими компаниями, как Google и OpenAI, — сказал Адам Роуз, научный сотрудник и старший советник Starling Lab. — Проблема в людях, которые могут запускать собственные модели, которые могут делать это на своих собственных компьютерах».

Даже сегодня существует множество открытых моделей, генерирующих изображения без какой-либо разметки. Эти модели ИИ можно бесконечно использовать и улучшать, даже если большинство крупных игроков на рынке ИИ применяют многогранный подход к разметке контента. Генеративный джин выпущен из бутылки, и его уже не загнать обратно.

Поскольку немаркированный контент, созданный с помощью ИИ, будет существовать всегда, нельзя полагаться на водяные знаки как на истину. По мере распространения маркировки ИИ люди могут начать считать изображение или видео без водяного знака автоматически подлинным. Это опасная, но понятная ошибка. Хотя наличие невидимых водяных знаков может дать людям некоторое чувство безопасности при исследовании все более искаженного интернета, они не являются надежным способом узнать правду.

«Будущее, в котором мы живем, все больше будет представлять собой мир неограниченного контента, — сказала Роуз. — Это основы экономики: спрос и предложение. Предложение взлетит до небес, а ценность контента будет продолжать падать. Но все больше будет расти спрос на проверенный контент, на способ доказать, что что-то является тем, за что себя выдает».

Масштабы контента, созданного с помощью ИИ, сами по себе делают невозможным его маркировку. 100 миллиардов изображений и видео, созданных Google с помощью SynthID, — это лишь верхушка айсберга, который уже затмил подлинный контент в интернете. Возможно, разумнее сосредоточиться на проверке достоверности, а не на разоблачении лжи.

«В мире существует предел тому, сколько контента можно создать с помощью реальных физических камер», — объяснил опытный фотожурналист и стипендиат программы Starling Майк Каронна. «Но нет предела тому, сколько синтетического контента можно создать. Именно поэтому мы хотим переключиться на то, что является дефицитным, а дефицитным является ценная, правдивая информация. Если мы сможем обеспечить ее доступность и доказать ее подлинность, мы сможем защититься от «дивидендов лжеца»».

Возможно, вы не слышали этого термина, но сталкивались с ним на практике. «Дивиденд лжеца» — это риторическая стратегия, при которой человек, столкнувшись с доказательствами противоправных действий, заявляет, что факты сфальсифицированы. Или же он просто кричит: «Фейковые новости!». Это была удручающе эффективная тактика для публичных деятелей, позволяющая избежать ответственности, и она может стать еще более мощной по мере распространения контента, созданного ИИ: «Это не я — это ИИ!»

Это возвращает нас к C2PA. Хотя очистить цифровые файлы довольно просто, C2PA может предложить более эффективный способ определения подлинности. Эта и подобные технологии, по сути, представляют собой защитные пломбы для цифровых файлов. Криптографически проверяемые метаданные могут доказать, что весь этот сравнительно редкий реальный контент, собственно, реален. Это может быть гораздо полезнее, чем искать доказательства того, что что-то сгенерировано ИИ, в море ненужной информации неизвестного происхождения.

Проблема в том, что C2PA по-прежнему встречается редко. Немногие телефоны и камеры создают такие цифровые отпечатки, и большинство веб-сайтов и приложений не отображают данные C2PA в изображениях (хотя данные C2PA можно просмотреть с помощью различных онлайн-инструментов). Google в этом плане опережает конкурентов. Телефоны Pixel — единственные массовые камеры с глубокой интеграцией C2PA. И изображения, и видео, снятые такими устройствами, как Pixel 10, содержат криптографически защищенные метаданные C2PA, которые показывают, когда и как было сделано изображение. Также указывается, использовался ли искусственный интеллект для изменения изображения.

В будущем у нас, возможно, не останется иного выбора, кроме как относиться к контенту, не имеющему поддающихся проверке данных о происхождении, как к подозрительному. Это лишь следствие жизни в мире, где всего несколько слов могут породить бесконечный поток дезинформации. Маркировка контента, созданного с помощью ИИ, — хорошая политика для технологических компаний, но она нас не спасёт.

Источник: arstechnica.com