Конфиденциальный анализ данных с использованием агрегации на основе принципа нулевого доверия.

Мы представляем решение для конфиденциального анализа, которое использует новый криптографический протокол для безопасной агрегации данных в сочетании со свойствами прозрачности TEE для достижения самых современных гарантий конфиденциальности и безопасности.

Быстрые ссылки

• Статья о криптографической агрегации
• Делиться
  • Скопировать ссылку ×

Обрабатывая данные локально, встроенный в устройство ИИ может обеспечить повышенную защиту и своевременные оповещения, сохраняя при этом конфиденциальность информации пользователя. Например, Android использует систему SafetyCore для обеспечения функций защиты конфиденциальности на устройстве и общей инфраструктуры для защиты пользователей от нежелательного контента. При разработке технологий для устройств командам необходимо понимать, насколько хорошо их системы работают на миллионах отдельных смартфонов, каждый из которых имеет уникальное распределение данных, различные аппаратные ограничения и различное поведение пользователей. Чтобы достичь этого таким образом, чтобы выявлять только общие тенденции, не раскрывая данные отдельных пользователей, команды могут использовать криптографически защищенную агрегацию в качестве ключевого элемента. Как и все криптографические протоколы, защищенная агрегация использует передовые математические инструменты для обеспечения своей безопасности.

Сегодня мы устанавливаем более высокую планку для эффективной криптографической агрегации в частном аналитическом сервисе. Мы придерживаемся принципа нулевого доверия, который направлен на снижение необходимости доверия к какой-либо отдельной организации. Мы достигаем этого за счет новой архитектуры безопасности, которая сочетает в себе криптографические и аппаратные механизмы защиты. Наше решение использует новый метод криптографической агрегации, который гарантирует, что Google сможет получить только анонимизированные, агрегированные данные о популяции. Кроме того, для обеспечения строгого уровня аттестации и прозрачности используются доверенные среды выполнения (TEE).

Задача

Когда модели развертываются локально на устройстве, простого знания о том, что модель «работает», недостаточно для понимания ее поведения, эффективности или режимов сбоев. Это ограничивает возможности ответа на такие важные вопросы, как:

• Модель меняет направление? (например, испытывает ли модель перевода трудности с новым сленгом, появляющимся в конкретном регионе?)

• Есть ли скрытые искажения? (например, является ли классификатор изображений менее точным при определенных условиях освещения, характерных для некоторых географических районов?)

• Каков реальный уровень ошибок? (Например, игнорируется ли функция «Умный ответ», потому что её предложения технически верны, но социально неуместны?)

Именно здесь частная аналитика становится важнейшим связующим звеном, позволяя получать анонимные, агрегированные данные о популяции, не раскрывая при этом информацию об отдельных пользователях.

Команды Google используют федеративную аналитику для получения такого рода агрегированных, конфиденциальных данных, с приложениями в Pixel Recorder, Gboard и других. Федеративная аналитика требует частного канала агрегации, где данные с отдельных устройств защищены до тех пор, пока не будут объединены в общую сумму. Для защиты пользовательских данных в этой среде возникли две парадигмы: аппаратная изоляция (TEE) и криптографические протоколы.

История о двух видах защиты

Аппаратный подход основан на использовании TEE (Tax-Element Enclave), таких как Intel TDX, AMD SEV-SNP и других. Основная идея заключается в создании «защищенного анклава» — по сути, защищенного сегмента процессора и памяти, изолированного от остальной части устройства. Внутри этого анклава данные могут быть расшифрованы и обработаны в открытом виде, защищенные даже от скомпрометированной операционной системы или вредоносного гипервизора.

С помощью процесса, называемого аттестацией, TEE могут вычислить аппаратно-защищенный криптографический «отпечаток» точного состояния прошивки и программного обеспечения, работающего внутри анклава. Для пользователя или аудитора аттестация предоставляет проверяемую гарантию того, что данные обрабатываются именно той программой, защищенной от несанкционированного доступа, которую они ожидают, а не модифицированной версией, предназначенной для утечки информации. Google внедрила в приложении Pixel Recorder дифференциально-защищенную агрегацию с использованием TEE для получения аналитических данных о системах искусственного интеллекта.

Однако механизмы изоляции TEE постоянно развиваются. Исследователи регулярно обнаруживают уязвимости, исходящие из побочных каналов, которые могут быть использованы злоумышленником для аннулирования гарантий TEE или гарантий, специфичных для конкретного приложения [SNPeek, TDXray]. В то время как сообщество работает над повышением защиты существующих решений от известных атак по побочным каналам, ожидается обнаружение новых уязвимостей. Поэтому в идеальной системе данные должны быть защищены несколькими уровнями безопасности, чтобы даже если модель безопасности TEE выйдет из строя, данные не были скомпрометированы.

С другой стороны, криптографические протоколы основаны на математических методах, которые обеспечивают доказуемые гарантии невозможности восстановления отдельных данных, и единственное видимое значение — это агрегированный, анонимизированный результат. Google развернул два поколения защищенных протоколов агрегации в масштабах (подробно описано в первоначальной публикации в блоге и последующих материалах). Однако их широкое распространение ограничено сложностью требования, согласно которому устройства пользователей должны оставаться подключенными к сети в многораундовых протоколах в течение длительных периодов времени.

Шифрование и изоляция

Наше новое решение представляет собой инновационный криптографический протокол, позволяющий пользовательским устройствам безопасно передавать свою информацию одним одноразовым сообщением, преодолевая барьеры традиционных интерактивных схем. Благодаря возможности отправки информации одним сообщением, нам не нужно, чтобы устройства оставались в сети для многократного взаимодействия с сервером.

Интегрированная в конфиденциальную федеративную аналитическую систему Google, эта высокоэффективная протокол-платформа объединяется с выполнением в рамках TEE (TeamExecutive Entity Exchange) для создания многоуровневой архитектуры защиты. Благодаря этому решению конфиденциальность больше не зависит исключительно от аппаратной защиты. Криптографический уровень гарантирует, что отдельные необработанные данные никогда не будут раскрыты или восстановлены в памяти сервера — даже внутри аппаратно защищенных периметров. Незашифрованные данные обрабатываются вне устройства только на заключительном этапе, когда данные уже агрегированы и анонимизированы. Кроме того, наше решение использует механизмы аттестации TEE для предоставления всем участникам высоконадежных, проверяемых доказательств того, что протокол безопасной агрегации выполняется точно так, как задумано, то есть путем компиляции и запуска корректно доступного кода.

Криптографический движок с эффективностью однократного выполнения.

В основе нашего криптографического решения лежит инновационный протокол на основе решеток, который позволяет клиентам шифровать свои данные таким образом, что полученные зашифрованные тексты могут быть агрегированы, при этом агрегируются и сами сообщения, а также ключи шифрования. Теперь для получения сервером агрегированных значений требуется только ключ дешифрования, который может расшифровать только агрегированное значение. Для решения этой задачи мы формируем небольшие комитеты среди клиентов, которые хранят подсказки, помогающие расшифровать агрегированное значение, замаскированное дополнительным шумом дифференциальной конфиденциальности. Клиенты нечасто участвуют в работе комитетов в зависимости от своей доступности, что обеспечивает возможность обмена ключом дешифрования между несколькими сторонами, каждая из которых защищает конфиденциальность зашифрованных данных.

Архитектура криптографического протокола для однократного использования.

Частная аналитика для SafetyCore

Android System SafetyCore — это системный сервис Google для устройств Android 9+, обеспечивающий защиту конфиденциальности на устройстве и поддержку функций безопасности Android. В сфере безопасности на устройстве такие инструменты, как SafetyCore, играют критически важную роль. Однако для развития этих инструментов разработчикам необходимо понимать их реальную производительность — в частности, какие угрозы обнаруживаются и где есть возможности для дальнейшего улучшения возможностей обнаружения, не нарушая при этом конфиденциальность пользователей.

Чтобы устранить этот пробел, в сотрудничестве с командой Android SafetyCore мы используем наше передовое решение для анализа конфиденциальной информации, позволяющее повысить точность классификаторов и одновременно сохранить конфиденциальность.

В данном случае крайне важно использовать агрегированные, анонимизированные данные, обеспечивающие конфиденциальность; это позволяет инженерам измерять процент «истинно положительных» результатов работы моделей безопасности в разнообразном глобальном парке устройств, не видя при этом конфиденциального контента, вызвавшего локальное оповещение. Наблюдая за этими общими тенденциями, разработчики могут уточнять пороговые значения моделей и развертывать обновления, которые лучше защищают пользователя, обеспечивая эффективность системы безопасности против новых угроз, сохраняя при этом исходные данные конфиденциальными и строго изолированными на устройстве. Android SafetyCore будет использовать нашу аналитику с нулевым доверием для оценки метаданных, указывающих на эффективность инструментов, соблюдая при этом свои обязательства по обеспечению конфиденциальности, согласно которым пользовательский контент остается только на устройстве. Мы рады представить технологию, которая помогает Android в выполнении более широкой миссии по защите безопасности пользователей при сохранении их конфиденциальности.

Заключение

Криптографические методы для безопасных вычислений обеспечивают надежные гарантии безопасности, подкрепленные математическими доказательствами. Мы показали, как разрабатывать безопасные протоколы агрегации, совместимые с развертыванием в крупномасштабных распределенных системах. Полученное решение, интегрированное с существующими механизмами безопасности, повышает уровень безопасности для конфиденциальной аналитики. В дальнейшем мы изучаем возможности расширения набора вычислительных операций, поддерживаемых в этой модели.

Благодарности

Содержание этого блога отражает вклад многих людей, в том числе Бруно Алвеса, Карлоса Бальдуза, Начо Баллестер Тестер, Джеймса Белл-Кларка, Олега Черняховского, Станислава Чикнаваряна, Джима Чончоласа, Стефана Диероуфа, Эмили Гланц, Шрути Горантала, Миры Холфорд, Михаэлы Ион, Артема Лагздина, Жан-Кристофа Лило, Питера Кайруза, Джонатана. Кац, Байю Ли, Бен Кройтер, Бретт МакЛарнон, Мехола Мукерджи, Аманда Насименто, Тимон Ван Овервельдт, Джавед Рамджон, Филипп Шоппманн, Карн Сет, Дебора Сильва, Ракшита Тандон и Пьер Толониат. Мы хотели бы поблагодарить Эли Бурштейна, Брайанта Гипсона, Марко Грутесера, Алекса Фрейре, Ксавье Льора, Дэна Рамаджа, Дэвида Сера и Аманду Уокер за их лидерство, а также Коринну Кортес, Брайана Родди, Панкаджа Рохатги и Эдуардо Техаду за их постоянную поддержку.

Источник: research.google