Хотя искусственный интеллект подпитывает всплеск синтетических изображений насилия над детьми, его также тестируют как способ предотвращения причинения вреда реальным жертвам.
Генеративный ИИ способствовал резкому росту производства изображений сексуального насилия над детьми. Ведущий американский исследователь, занимающийся расследованием эксплуатации детей, экспериментирует с использованием ИИ для различения изображений, созданных с помощью ИИ, от материалов, изображающих реальных жертв, согласно новому правительственному документу.
Центр по борьбе с киберпреступностью Министерства внутренней безопасности, который расследует эксплуатацию детей за рубежом, заключил контракт на сумму 150 000 долларов с базирующейся в Сан-Франциско компанией Hive AI на разработку программного обеспечения, которое может определить, был ли контент создан с помощью искусственного интеллекта.
Документация, опубликованная 19 сентября, сильно отредактирована, а соучредитель и генеральный директор Hive Кевин Го сообщил MIT Technology Review, что не может обсуждать детали контракта, но подтвердил, что он подразумевает использование алгоритмов искусственного интеллекта компании для обнаружения материалов, содержащих сцены сексуального насилия над детьми (CSAM).
В заявлении приводятся данные Национального центра по делам пропавших и эксплуатируемых детей, который сообщил об увеличении числа инцидентов с использованием генеративного ИИ на 1325% в 2024 году. «Огромный объем цифрового контента, циркулирующего в сети, требует использования автоматизированных инструментов для эффективной обработки и анализа данных», — говорится в заявлении.
Первостепенная задача следователей по делам об эксплуатации детей — выявить и пресечь любые случаи насилия, происходящие в настоящее время. Однако поток CSAM-контента, генерируемого искусственным интеллектом, затрудняет для следователей определение того, изображает ли изображение реальную жертву, находящуюся под угрозой. Инструмент, способный успешно отмечать реальных жертв, оказал бы огромную помощь при определении приоритетности дел.
В документе говорится, что идентификация изображений, созданных с помощью ИИ, «гарантирует, что следственные ресурсы будут сосредоточены на делах с участием реальных жертв, что позволит максимально повысить эффективность программы и защитить уязвимых лиц».
Hive AI предлагает инструменты на основе ИИ для создания видео и изображений, а также ряд инструментов модерации контента, которые могут отмечать насилие, спам и материалы сексуального характера, а также идентифицировать знаменитостей. В декабре издание MIT Technology Review сообщило, что компания продаёт свою технологию обнаружения дипфейков американским военным.
Связанная история
Компания подписала контракт со стартапом Hive AI на сумму 2,4 миллиона долларов сроком на два года.
Для обнаружения CSAM-контента Hive предлагает инструмент, разработанный совместно с Thorn, некоммерческой организацией, занимающейся безопасностью детей, который компании могут интегрировать в свои платформы. Этот инструмент использует систему «хеширования», которая присваивает уникальные идентификаторы контенту, известному следователям как CSAM-контент, и блокирует загрузку таких материалов. Этот и другие подобные инструменты стали стандартной линией защиты для технологических компаний.
Но эти инструменты просто идентифицируют контент как CSAM; они не определяют, был ли он сгенерирован ИИ. Hive создал отдельный инструмент, который определяет, были ли изображения в целом сгенерированы ИИ. По словам Го, он не специально обучен работе с CSAM, но это и не требуется.
«В этом изображении есть некая базовая комбинация пикселей, которую мы можем идентифицировать» как сгенерированную ИИ, говорит он. «Её можно обобщить».
По словам Го, именно этот инструмент Центр по борьбе с киберпреступностью будет использовать для оценки CSAM. Он добавляет, что Hive сравнивает свои инструменты обнаружения с учетом каждого конкретного сценария использования, который имеют в виду клиенты.
Национальный центр по делам пропавших без вести и эксплуатируемых детей, который участвует в усилиях по прекращению распространения CSAM, не отреагировал на просьбы прокомментировать эффективность таких моделей обнаружения к моменту публикации.
В своей заявке правительство обосновывает заключение контракта с Hive без проведения конкурентных торгов. Хотя часть этого обоснования отредактирована, в нём в основном упоминаются два пункта, также представленные в презентации Hive. Один из них касается исследования Чикагского университета 2024 года, которое показало, что ИИ-детектор Hive превзошёл четыре других детектора в выявлении произведений искусства, созданных с помощью ИИ. Второй — контракт с Пентагоном на выявление дипфейков. Судебный процесс продлится три месяца.
Источник: www.technologyreview.com
