Новое исследование подробно описывает, как компания Civitai позволяет пользователям покупать и продавать инструменты для тонкой настройки дипфейков, которые, по утверждению компании, запрещены.
Civitai — онлайн-площадка для покупки и продажи контента, созданного с помощью ИИ, поддерживаемая венчурной компанией Andreessen Horowitz, — позволяет пользователям покупать файлы инструкций для создания дипфейков знаменитостей. Новый анализ показал, что некоторые из этих файлов были специально разработаны для создания порнографических изображений, запрещенных сайтом.
Исследование, проведенное учеными из Стэнфордского и Индианского университетов, изучало запросы пользователей на контент на сайте, называемые «вознаграждениями». Исследователи обнаружили, что в период с середины 2023 года по конец 2024 года большинство вознаграждений касались анимированного контента, но значительная часть из них представляла собой дипфейки реальных людей, и 90% этих запросов были направлены на женщин. (Результаты исследования еще не прошли рецензирование.)
Дискуссия вокруг дипфейков, как показала недавняя негативная реакция на откровенные изображения в чат-боте Grok, принадлежащем компании X, вращается вокруг того, что платформы должны делать для блокировки подобного контента. Ситуация с Civitai несколько сложнее. На её торговой площадке представлены реальные изображения, видео и модели, но она также позволяет частным лицам покупать и продавать файлы инструкций, называемые LoRA, которые могут обучать популярные модели ИИ, такие как Stable Diffusion, генерировать контент, для создания которого они не были обучены. Затем пользователи могут комбинировать эти файлы с другими инструментами для создания дипфейков, содержащих графические или сексуальные изображения. Исследователи обнаружили, что 86% запросов на дипфейки в Civitai были связаны с файлами LoRA.
В рамках этих программ вознаграждения пользователи запрашивали «высококачественные» модели для создания изображений известных личностей, таких как инфлюенсер Чарли Д'Амелио или певица Грейси Абрамс, часто указывая ссылки на их профили в социальных сетях, чтобы изображения можно было скопировать из интернета. В некоторых запросах указывалось желание получить модели, которые бы точно воспроизводили тело человека, передавали его татуировки или позволяли изменять цвет волос. Некоторые запросы были нацелены на нескольких женщин из определенных ниш, например, на художниц, записывающих ASMR-видео. Один из запросов касался создания дипфейка женщины, которая, как утверждалось, является женой пользователя. Любой пользователь сайта мог предложить модели ИИ, над которыми он работал для этой задачи, и лучшие работы получали оплату — от 0,50 до 5 долларов. И почти 92% заказов на создание дипфейков были исполнены.
Ни компания Civitai, ни Andreessen Horowitz не ответили на запросы о комментариях.
Вполне возможно, что люди покупают эти LoRA для создания дипфейков, не содержащих откровенно сексуальных сцен (хотя это всё равно будет нарушением условий использования Civitai и вызовет этические вопросы). Но Civitai также предлагает образовательные ресурсы о том, как использовать внешние инструменты для дальнейшей настройки результатов работы генераторов изображений — например, изменяя позу человека. На сайте также размещаются статьи, написанные пользователями, с подробным описанием того, как инструктировать моделей создавать порнографию. Исследователи обнаружили, что количество порнографии на платформе увеличилось, и что большинство запросов каждую неделю теперь касаются контента, не предназначенного для просмотра несовершеннолетними.
«Civitai не только предоставляет инфраструктуру, которая способствует решению этих проблем, но и целенаправленно обучает своих пользователей тому, как ею пользоваться», — говорит Мэтью ДеВерна, научный сотрудник Центра киберполитики Стэнфордского университета и один из руководителей исследования.
Ранее компания запрещала только дипфейки с откровенно сексуальным содержанием, изображающие реальных людей, но в мае 2025 года объявила о запрете всего дипфейк-контента. Тем не менее, бесчисленные запросы на дипфейки, поданные до этого запрета, до сих пор остаются активными на сайте, и многие из работ, выигравших эти запросы, по-прежнему доступны для покупки, подтвердило издание MIT Technology Review.
Связанная статья
«Я считаю, что они стремятся делать как можно меньше, чтобы максимально стимулировать — как они бы это назвали — творчество на платформе», — говорит ДеВерна.
Пользователи покупают LoRA за внутриигровую валюту сайта, называемую Buzz, которая приобретается за реальные деньги. В мае 2025 года платежная система Civita прекратила сотрудничество с компанией из-за постоянных проблем с контентом, распространяемым без согласия пользователей. Теперь для оплаты контента откровенного характера пользователям необходимо использовать подарочные карты или криптовалюту для покупки Buzz; для контента, не содержащего откровенных материалов, компания предлагает другой способ оплаты.
Civitai автоматически помечает наградами объявления о вознаграждении за дипфейки и указывает способ, с помощью которого человек, изображенный на контенте, может вручную запросить его удаление. Эта система позволяет Civitai достаточно эффективно определять, какие награды предназначены для дипфейков, но она по-прежнему оставляет модерацию на усмотрение широкой публики, а не осуществляет её на упреждающей основе.
Юридическая ответственность компании за действия своих пользователей не совсем ясна. Как правило, технологические компании имеют широкую юридическую защиту от такой ответственности за свой контент в соответствии со статьей 230 Закона о пристойности коммуникаций, но эта защита не безгранична. Например, «вы не можете сознательно способствовать незаконным транзакциям на своем веб-сайте», — говорит Райан Кало, профессор, специализирующийся на технологиях и искусственном интеллекте в юридической школе Вашингтонского университета. (Кало не принимал участия в этом новом исследовании.)
В 2024 году компания Civitai присоединилась к OpenAI, Anthropic и другим компаниям, занимающимся разработкой ИИ, внедрив принципы проектирования, направленные на предотвращение создания и распространения материалов, содержащих изображения сексуального насилия над детьми, созданных с помощью ИИ. Этот шаг последовал за отчетом Стэнфордской интернет-обсерватории 2023 года, в котором было установлено, что подавляющее большинство моделей ИИ, упоминаемых в сообществах, посвященных сексуальному насилию над детьми, являются моделями, основанными на алгоритме Stable Diffusion, «преимущественно полученными через Civitai».
Однако контент-платформы и венчурные фирмы, финансирующие их, не уделяют дипфейкам для взрослых такого же внимания. «Они недостаточно боятся этого. Они чрезмерно терпимы к этому», — говорит Кало. «Ни правоохранительные органы, ни гражданские суды не обеспечивают адекватной защиты от этого. Разница колоссальная».
В ноябре 2023 года компания Civitai получила инвестиции в размере 5 миллионов долларов от Andreessen Horowitz (a16z). В видеоролике, опубликованном a16z, соучредитель и генеральный директор Civitai Джастин Майер рассказал о своей цели — создании основной площадки, где люди смогут находить и делиться моделями ИИ для своих собственных целей. «Мы стремимся сделать эту область, которая до сих пор была очень, я бы сказал, нишевой и требующей больших инженерных усилий, все более доступной для все большего числа людей», — сказал он.
Civitai — не единственная компания в инвестиционном портфеле a16z, столкнувшаяся с проблемой дипфейков; в феврале MIT Technology Review впервые сообщила о другой компании, Botify AI, которая предоставляла услуги ИИ-компаньонов, похожих на реальных актеров, которые заявляли о своем возрасте до 18 лет, вели разговоры сексуального характера, предлагали «откровенные фотографии», а в некоторых случаях называли законы о возрасте согласия «произвольными» и «предназначенными для нарушения».
Источник: www.technologyreview.com
