Я проанализировал полмиллиона кредитных карт с помощью системы федеративного обучения. Вот что я обнаружил.

Почему конфиденциальность нарушает справедливость в малых масштабах и как сотрудничество решает обе проблемы без обмена единой записью.

Делиться

Регуляторы хотят конфиденциальности. Соблюдение нормативных требований требует справедливости. Бизнес хочет точности. В небольших масштабах невозможно достичь всех трех целей. В масштабах предприятия происходит нечто неожиданное.

Оговорка: В данной статье представлены результаты моего исследования по федеративному обучению для оценки кредитоспособности. Хотя я предлагаю стратегические варианты и рекомендации, они отражают специфический контекст моего исследования. Каждая организация работает в условиях различных нормативных, технических и деловых ограничений. Пожалуйста, проконсультируйтесь со своими юридическими, нормативными и техническими специалистами, прежде чем внедрять какой-либо подход в вашей организации.

Парадокс регулятора

Вы работаете менеджером по кредитным рискам в банке среднего размера. В ваш почтовый ящик только что поступили три противоречащих друг другу поручения:

1. От вашего сотрудника, ответственного за защиту конфиденциальности (ссылаясь на GDPR): «Внедрите дифференцированную защиту конфиденциальности. Ваша модель не должна допускать утечки финансовых данных клиентов».
2. От вашего сотрудника по вопросам справедливого кредитования (ссылаясь на ECOA/FCRA) : «Обеспечьте демографическое равенство. Ваша модель не должна дискриминировать защищенные группы».
3. От вашего технического директора: «Нам нужна точность более 96%, чтобы оставаться конкурентоспособными».

Вот что я обнаружил в ходе исследования 500 000 кредитных записей: все три задачи сложнее решить одновременно, чем кто-либо признает. В небольших масштабах возникает настоящая математическая проблема. Но в масштабах предприятия скрывается элегантное решение.

Позвольте мне показать вам, что показывают данные, и как стратегически управлять этим противоречием.

Понимание трех целей (и причин их противоречия)

Прежде чем я покажу вам натяжение, позвольте мне определить, что мы измеряем. Представьте, что это три регулятора, которые можно поворачивать:

Конфиденциальность (ε — «эпсилон»)

• ε = 0,5: Очень конфиденциально. Ваша модель практически ничего не раскрывает об отдельных людях. Но обучение занимает больше времени, поэтому точность страдает.
• ε = 1,0: Умеренная конфиденциальность. Оптимальный баланс между защитой и полезностью. Отраслевой стандарт для регулируемых финансовых учреждений.
• ε = 2,0: Более слабая конфиденциальность. Модель обучается быстрее и достигает более высокой точности, но раскрывает больше информации об отдельных лицах.

Чем ниже значение эпсилон, тем сильнее защита частной жизни (звучит нелогично, я знаю!).

Справедливость (разрыв в демографическом равенстве)

Этот показатель измеряет различия в уровне одобрения между группами :

• Пример: Если одобрение получают 71% молодых клиентов, а среди клиентов старшего возраста — только 68%, то разница составляет 3 процентных пункта.
• В соответствии с законами о справедливом кредитовании, регулирующие органы считают, что процентная ставка менее 2% является приемлемой .
• 0,069% (результат нашей продукции) — это исключительный показатель, обеспечивающий 93% запас прочности ниже нормативных значений.

Точность

Стандартная точность: процент правильных кредитных решений. Чем выше показатель, тем лучше. В отрасли ожидается >95%.

Неожиданный поворот сюжета: вот что происходит на самом деле.

Прежде чем я объясню этот небольшой компромисс, вам следует знать неожиданную развязку.

В производственных масштабах (при сотрудничестве 300 объединенных институтов) происходит нечто замечательное:

• Точность: 96,94% ✓
• Разница в справедливости: 0,069% ✓ (примерно в 29 раз меньше, чем пороговое значение в 2%)
• Конфиденциальность: ε = 1,0 ✓ (формальная математическая гарантия)

Все три. Одновременно. Без компромисса.

Но сначала позвольте мне объяснить, почему небольшие системы испытывают трудности. Понимание проблемы проясняет, почему решение работает.

Мелкомасштабное противоречие: конфиденциальность, шумопоглощающие жалюзи, справедливость.

Вот что происходит, когда в одном учреждении раздельно внедряются принципы конфиденциальности и справедливости:

Принцип дифференциальной конфиденциальности работает за счет внесения калиброванного шума в процесс обучения. Этот шум добавляет случайность, что делает математически невозможным обратное моделирование отдельных записей из модели.

Проблема в том, что этот же шум ослепляет алгоритм обеспечения справедливости.

Конкретный пример

Ваш алгоритм оценки справедливости пытается выявить следующее: «В группе А уровень одобрения составляет 72%, а в группе В — всего 68%. Разница составляет 4% — мне нужно скорректировать модель, чтобы исправить это смещение».

Но когда вводится шум, связанный с конфиденциальностью, алгоритм видит нечто нечёткое:

• Уровень одобрения в группе А составляет приблизительно 71,2% (погрешность ±2,3%).
• Уровень одобрения в группе B составляет приблизительно 68,9% (погрешность ±2,4%).

Теперь алгоритм задает вопрос: «Является ли этот разрыв реальным искажением или просто шумом от механизма обеспечения конфиденциальности?»

Когда неопределенность возрастает, ограничение справедливости становится более осторожным. Оно не позволяет уверенно устранить неравенство, поэтому разрыв сохраняется или даже увеличивается.

Проще говоря: шум, связанный с конфиденциальностью, заглушает сигнал о справедливости.

Доказательства: девять экспериментов в малом масштабе

Я оценил этот компромисс эмпирическим путем. Вот что я обнаружил в девяти различных конфигурациях:

Таблица результатов

Что это значит

• Точность стабильна: отклонение составляет всего 0,15 процентных пункта по всем 9 комбинациям. Ограничения конфиденциальности не снижают точность.
• Справедливость непоследовательна: разброс составляет от 1,53% до 2,07%, что соответствует 54%. В большинстве случаев значения находятся в диапазоне от 1,63% до 1,78%, но на крайних значениях наблюдается высокая дисперсия. Связь между конфиденциальностью и справедливостью слабая.
• Корреляция слабая: r = -0,145. Более строгая конфиденциальность (более низкое ε) не является сильным предиктором более широких различий в справедливости.

Ключевой вывод: компромисс существует, но на малых масштабах он тонкий и непредсказуемый. Невозможно однозначно предсказать, как ужесточение конфиденциальности повлияет на справедливость. Это не ошибка измерения — это отражение реальной непредсказуемости при работе с небольшими наборами данных и ограниченным демографическим разнообразием. Одна из конфигураций-выбросов (ε=1,0, δ_dp=0,05) достигла 2,07%, но это представляет собой граничное условие, а не типичное поведение. В большинстве случаев эти показатели остаются ниже 1,8%.

Почему это происходит: математическая реальность

Вот механизм. При объединении ограничений конфиденциальности и справедливости общая ошибка разлагается следующим образом:

Суммарная ошибка = Статистическая ошибка + Штраф за нарушение конфиденциальности + Штраф за нарушение справедливости + Ошибка квантования

Ключевым моментом является штраф за нарушение конфиденциальности: он возрастает как 1/ε².

Это означает:

• Сократить бюджет защиты конфиденциальности вдвое (ε: 2,0 → 1,0)? Штраф за нарушение конфиденциальности увеличится в четыре раза .
• Уменьшить его еще вдвое (ε: 1,0 → 0,5)? Оно снова увеличится в четыре раза .

По мере увеличения уровня шума, связанного с конфиденциальностью, оптимизатор справедливости теряет ясность сигнала. Он не может с уверенностью отличить реальное смещение от шума, поэтому он колеблется в корректировке несоответствия. Математика беспощадна: конфиденциальность и справедливость не просто взаимозаменяемы — они взаимодействуют нелинейно.

Три реалистичных варианта работы (для небольших учреждений)

Вместо того чтобы ожидать совершенства, предлагаем три действенные стратегии:

Вариант 1: Приоритет – соответствие нормативным требованиям (защита от нарушений законодательства)

• Настройки: ε ≥ 1,0, разрыв в справедливости ≤ 0,02 (2%)
• Результаты: точность ~79%, разрыв в справедливости ~1,6%.
• Наилучший выбор для: организаций с жестким регулированием (крупные банки, находящиеся под пристальным вниманием CFPB).
• Преимущество: Непробиваемость для нормативных требований. Можно математически доказать конфиденциальность и справедливость.
• Компромисс: Порог точности составляет около 79%. Неконкурентоспособен для новых учреждений.

Вариант 2: Приоритет отдается результативности (жизнеспособность бизнеса)

• Настройки: ε ≥ 2,0, разрыв в справедливости ≤ 0,05 (5%)
• Результаты: точность ~79,3%, разрыв в справедливости ~1,65%.
• Лучше всего подходит для: Конкурентных финтех-компаний, где важна точность.
• Преимущество: Достижение максимальной точности в рамках принципов справедливости.
• Компромисс: Незначительное ослабление защиты конфиденциальности. Повышенный риск утечки данных.

Вариант 3: Сбалансированный (оптимальный вариант)

• Настройки: ε = 1,0, разрыв в справедливости ≤ 0,02 (2%)
• Результаты: точность 79,3%, разрыв в справедливости 1,63%.
• Лучше всего подходит для: большинства финансовых учреждений
• Преимущество: Соответствует нормативным требованиям + приемлемая точность.
• Компромисс: Отсутствует. Это равновесие.

Неожиданный поворот сюжета: как Федерация решит эту проблему.

А вот тут начинается самое интересное.

Все вышеизложенное предполагает наличие данных у одного учреждения . У большинства банков от 5 до 100 тысяч клиентов — этого достаточно для обучения модели, но недостаточно для обеспечения объективности по всем демографическим группам.

Что если бы 300 банков объединили усилия?

Не путем обмена исходными данными (кошмар с точки зрения конфиденциальности), а путем обучения общей модели, в которой:

• Каждый банк хранит свои данные в тайне.
• Каждый банк проводит обучение на местном уровне.
• Передаются только зашифрованные обновления моделей.
• Глобальная модель обучается на основе данных от 500 000 клиентов из различных организаций.

Вот что происходит:

Трансформация

Точность выросла на +17 процентных пунктов. Справедливость улучшилась примерно в 23 раза (с 1,6% до 0,069%). Конфиденциальность осталась на прежнем уровне.

Почему работает федерация: магия, не связанная с IID.

Главный вывод таков: у разных учреждений разные демографические характеристики клиентов.

• Банк А (городской): В основном молодые клиенты с высоким уровнем дохода.
• Банк B (сельская местность): клиенты старшего возраста и с низким уровнем дохода.
• Банк C (онлайн): сочетание обоих вариантов.

Когда глобальная федеративная модель обучается на всех трех платформах, она должна изучить представления признаков, которые будут справедливы для всех . Представление признаков, смещенное в сторону молодых клиентов, не подходит для Банка B. Представление признаков, смещенное в сторону состоятельных клиентов, не подходит для Банка C.

Глобальная модель самокорректируется посредством конкуренции. Ограничения на справедливость, присущие каждому учреждению на местном уровне, противодействуют глобальной модели, заставляя ее быть справедливой по отношению ко всем группам во всех учреждениях одновременно.

Это не магия. Это следствие неоднородности данных (технический термин: «неидентичные и одинаково распределенные данные»), которая служит естественным регулятором справедливости.

Что на самом деле требуют регулирующие органы

Теперь, когда вы понимаете суть проблемы, вот как следует общаться с представителями отдела по соблюдению нормативных требований:

Статья 25 GDPR (Защита конфиденциальности на этапе проектирования)

«Мы реализуем ε-дифференциальную конфиденциальность с бюджетом ε = 1,0. Вот математическое доказательство того, что отдельные записи невозможно восстановить из нашей модели даже при самых агрессивных атаках».

Перевод: Вы выбираете конкретное значение ε и показываете математические вычисления. Никаких отговорок.

ECOA/FCRA (Справедливое кредитование)

«Мы будем поддерживать демографический паритет на уровне менее 0,1% по всем защищенным признакам. Вот наша панель мониторинга. Вот алгоритм, который мы используем для обеспечения справедливости. Вот журнал аудита».

Перевод: Справедливость поддается измерению, контролю и корректировке.

Закон ЕС об искусственном интеллекте (2024 г.)

«Мы добьемся как конфиденциальности, так и справедливости посредством федеративного обучения в рамках [N] учреждений. Вот эмпирические результаты. Вот как мы обрабатываем версионирование моделей, отсев клиентов и согласование стимулов».

Перевод: Вы не просто создаёте справедливую модель. Вы создаёте *систему*, которая остаётся справедливой в реалистичных условиях развертывания.

Ваши стратегические варианты (по сценариям)

Если вы — банк среднего размера (10–100 тысяч клиентов)

Реальность: Достичь разрыва в справедливости менее 0,1% в одиночку невозможно. Слишком мало данных по каждой демографической группе.

Стратегия:

1. Краткосрочная перспектива (6 месяцев): Реализация варианта 3 (сбалансированный). Целевой показатель: разрыв в справедливости 1,6% + ε=1,0 конфиденциальности.
2. Среднесрочная перспектива (12 месяцев): Присоединиться к консорциуму. Предложить 5–10 аналогичным учебным заведениям сотрудничество в области федеративного обучения.
3. Долгосрочная перспектива (18 месяцев): Получите доступ к федеративной глобальной модели. Наслаждайтесь точностью более 96% и разницей в справедливости в 0,069%.

Ожидаемый результат: соответствие нормативным требованиям + конкурентоспособность.

Если вы небольшая финтех-компания (<5000 клиентов)

Реальность такова: вы слишком малы, чтобы добиться справедливости в одиночку, И слишком малы, чтобы требовать компромиссов в вопросах конфиденциальности.

Стратегия:

1. Не пытайтесь справиться с этим в одиночку. Федеративное обучение создано именно для таких ситуаций.
2. Создайте консорциум или присоединитесь к нему. Это могут быть сети кредитных союзов, институты финансирования развития местных сообществ или альянсы финтех-компаний.
3. Предоставьте свои данные (используя протоколы, обеспечивающие конфиденциальность, а не в необработанном виде).
4. Получите доступ к глобальной модели, обученной на данных более чем 300 учреждений.

Ожидаемый результат: Вы получите точность мирового класса, не создавая устройство самостоятельно.

Если вы крупный банк (более 500 000 клиентов)

Реальность: у вас достаточно данных для обеспечения высокой степени справедливости. Но централизация подвергает вас риску утечки данных и пристальному контролю со стороны регулирующих органов (GDPR, CCPA).

Стратегия:

1. Переходите от централизованной к федеративной архитектуре. Разделите данные по регионам или бизнес-подразделениям. Обучите федеративную модель.
2. При желании можно добавить внешних партнеров. Для обеспечения большей справедливости вы можете остаться в закрытом режиме или открыть доступ для других учреждений.
3. Используйте федеративное обучение для обеспечения объяснимости. Регуляторы предпочитают распределенные системы (меньшая концентрация власти, проще проводить аудит).

Ожидаемый результат: та же точность, улучшенная защита конфиденциальности, обоснованность с точки зрения регулирования.

Что делать на этой неделе

Действие 1: Оцените ваше текущее состояние

Обратитесь к своей команде специалистов по работе с данными:

• «Каков у нас процент одобрения для группы А? Для группы В?» (Укажите группы: возраст, пол, уровень дохода)
• Рассчитайте разницу: |Ставка_А – Ставка_В|
• Соответствует ли этот показатель более 2%? Если да, то вы подвергаетесь риску нарушения нормативных требований.

Действие 2: Оцените количественно степень риска нарушения вашей конфиденциальности.

Обратитесь к своей команде безопасности:

• «Бывали ли у нас когда-нибудь утечки данных? Каковы были финансовые потери?»
• «Если произойдет утечка данных о 100 000 клиентах, какой будет размер штрафа со стороны регулирующих органов?»
• Благодаря этому конфиденциальность перестала быть теоретической.

Действие 3: Определите свою стратегию

• Небольшой банк? Начните изучать возможности создания объединенных обучающих консорциумов (кредитные союзы, местные банки, финтех-альянсы).
• Средний по размеру банк? Внедрите Вариант 3 (Сбалансированный), одновременно изучая возможности партнерства в рамках федерации.
• Крупный банк? Разработайте пилотный проект по созданию внутренней системы федеративного обучения.

Действие 4: Взаимодействие с отделом соответствия

Прекратите давать расплывчатые обещания. Придерживайтесь конкретных цифр:

• «Мы будем поддерживать уровень дифференциальной конфиденциальности ε = 1,0»
• «Мы сохраним разрыв в демографическом равенстве на уровне <0,1%»
• «Мы будем ежемесячно проводить аудит справедливости»

Цифры можно обосновать. Обещания — нет.

Последствия для законодательства: Вам предстоит сделать выбор.

Действующие правила исходят из предположения, что конфиденциальность, справедливость и точность — это независимые параметры. Это не так.

В малом масштабе невозможно одновременно максимизировать все три показателя.

Разговор с советом директоров должен выглядеть следующим образом:

«Мы можем получить: (1) Надежную защиту частной жизни + справедливые результаты, но более низкую точность. ИЛИ (2) Надежную защиту частной жизни + точность, но более слабую справедливость. ИЛИ (3) Федерацию, решающую все три проблемы, но требующую партнерства с другими институтами».

Выбирайте, исходя из вашей терпимости к риску, а не из фантазий о регулировании.

Федерация (Вариант 3) — единственный путь ко всем трем вариантам. Но для этого требуется сотрудничество, сложная система управления и подход консорциума.

Итог

Невозможность создания идеального ИИ — это не провал инженеров. Это утверждение о возможности обучения на основе предвзятых данных в условиях формальных ограничений.

В небольших масштабах: конфиденциальность и справедливость — это компромисс. Выберите точку на кривой, исходя из ценностей вашего учреждения.

В масштабах предприятия: федерация устраняет компромисс. Сотрудничество обеспечивает точность, справедливость и конфиденциальность.

Математика беспощадна. Но варианты очевидны.

Начните оценивать разрыв в справедливости уже на этой неделе. Начните изучать возможности федеративного партнерства в следующем месяце. Регуляторы ожидают, что вы получите ответ к следующему кварталу.

Список литературы и дополнительные материалы

Данная статья основана на экспериментальных результатах, представленных в моей готовящейся к публикации научной работе:

Каарат и др . «Единая федеративная структура ИИ для оценки кредитоспособности: конфиденциальность, справедливость и масштабируемость». Международный журнал прикладного интеллекта в медицине (IJAIM), статья принята к публикации, ожидается доработка.

Упомянутые основополагающие концепции и нормативно-правовые рамки:

Макмахан и др . «Эффективное с точки зрения коммуникации обучение глубоких нейронных сетей на основе децентрализованных данных». AISTATS, 2017. (Основополагающая работа по федеративному обучению).

Общий регламент по защите данных (GDPR) , статья 25 («Защита данных на этапе проектирования и по умолчанию»), Европейский Союз, 2018 г.

Закон ЕС об искусственном интеллекте , Регламент (ЕС) 2024/1689, Официальный журнал Европейского союза, 2024.

Закон о равных возможностях кредитования (ECOA) и Закон о справедливом кредитном отчёте (FCRA) — федеральные правила США, регулирующие справедливое кредитование.

Есть вопросы или мысли? Не стесняйтесь обращаться ко мне в комментариях. Мне было бы интересно узнать, как ваша организация решает вопрос баланса между конфиденциальностью и справедливостью.

Источник: towardsdatascience.com