Исследователи из Массачусетского технологического института разработали систему тестирования, которая позволяет выявлять ситуации, когда системы поддержки принятия решений на основе искусственного интеллекта несправедливо относятся к людям и сообществам. 
В таких крупных системах, как энергосистема, оценка этического соответствия рекомендаций модели ИИ с учетом всех целей представляет собой особенно сложную задачу. Новая система оценки может быть использована для проверки того, насколько рекомендации автономных систем соответствуют этическим критериям, определенным человеком. Изображение: MIT News; iStock
Искусственный интеллект все чаще используется для оптимизации принятия решений в ситуациях с высокими ставками. Например, автономная система может определить стратегию распределения электроэнергии, которая минимизирует затраты, сохраняя при этом стабильность напряжения.
Но хотя результаты, полученные с помощью ИИ, могут быть технически оптимальными, справедливы ли они? Что если стратегия недорогого распределения электроэнергии сделает неблагополучные районы более уязвимыми к отключениям, чем районы с более высоким уровнем дохода?
Чтобы помочь заинтересованным сторонам быстро выявлять потенциальные этические дилеммы до начала внедрения, исследователи из Массачусетского технологического института разработали автоматизированный метод оценки, который уравновешивает взаимодействие между измеримыми результатами, такими как стоимость или надежность, и качественными или субъективными ценностями, такими как справедливость.
Система отделяет объективные оценки от определяемых пользователем человеческих ценностей, используя большую языковую модель (LLM) в качестве заменителя человеческих предпочтений для сбора и учета предпочтений заинтересованных сторон.
Адаптивная структура выбирает лучшие сценарии для дальнейшей оценки, оптимизируя процесс, который обычно требует дорогостоящих и трудоемких ручных усилий. Эти тестовые примеры могут демонстрировать ситуации, в которых автономные системы хорошо соответствуют человеческим ценностям, а также сценарии, которые неожиданно не соответствуют этическим критериям.
«Мы можем внедрить множество правил и ограничений в системы искусственного интеллекта, но эти меры предосторожности могут предотвратить только то, что мы можем себе представить. Недостаточно сказать: „Давайте просто будем использовать ИИ, потому что он был обучен на этой информации“. Мы хотели разработать более систематический способ обнаружения неизвестных неизвестных и иметь возможность прогнозировать их до того, как произойдет что-то плохое», — говорит ведущий автор исследования Чучу Фан, доцент кафедры аэронавтики и космонавтики Массачусетского технологического института (AeroAstro) и главный исследователь в Лаборатории информационных и управленческих систем (LIDS) Массачусетского технологического института.
Вместе с Фан в работе над статьей приняли участие ведущий автор Анджали Парашар, аспирантка факультета машиностроения; Инке Ли, научный сотрудник AeroAstro; и другие сотрудники MIT и Saab. Результаты исследования будут представлены на Международной конференции по изучению представлений.
Оценка этических норм
В такой крупной системе, как энергосеть, оценка этической обоснованности рекомендаций модели ИИ с учетом всех целей представляет собой особенно сложную задачу.
Большинство систем тестирования основаны на предварительно собранных данных, но получить размеченные данные по субъективным этическим критериям зачастую сложно. Кроме того, поскольку этические ценности и системы искусственного интеллекта постоянно развиваются, статические методы оценки, основанные на письменных кодексах или нормативных документах, требуют частого обновления.
Фан и ее команда подошли к этой проблеме с другой точки зрения. Опираясь на свою предыдущую работу по оценке роботизированных систем, они разработали экспериментальную модель для выявления наиболее информативных сценариев, которые затем будут более тщательно оценивать заинтересованные стороны.
Их двухкомпонентная система, называемая масштабируемым экспериментальным проектированием для этического тестирования на системном уровне (SEED-SET), включает в себя количественные показатели и этические критерии. Она позволяет выявлять сценарии, которые эффективно соответствуют измеримым требованиям и хорошо согласуются с человеческими ценностями, и наоборот.
«Мы не хотим тратить все наши ресурсы на случайные оценки. Поэтому очень важно направлять разработку системы на те тестовые случаи, которые для нас наиболее важны», — говорит Ли.
Важно отметить, что SEED-SET не требует наличия предварительно сформированных данных для оценки и адаптируется к различным целям.
Например, в энергосистеме может быть несколько групп пользователей, включая крупное сельское поселение и центр обработки данных. Хотя обе группы могут хотеть недорогого и надежного электроснабжения, приоритеты каждой группы с этической точки зрения могут сильно различаться.
Эти этические критерии могут быть недостаточно четко определены, поэтому их невозможно измерить аналитически.
Оператор энергосети стремится найти наиболее экономически эффективную стратегию, которая наилучшим образом отвечает субъективным этическим предпочтениям всех заинтересованных сторон.
SEED-SET решает эту задачу, разделяя проблему на две части и используя иерархическую структуру. Объективная модель рассматривает, как система работает по измеримым показателям, таким как стоимость. Затем субъективная модель, учитывающая суждения заинтересованных сторон, например, воспринимаемую справедливость, основывается на объективной оценке.
«Объективная часть нашего подхода связана с системой искусственного интеллекта, а субъективная — с пользователями, которые её оценивают. Разложив предпочтения по иерархическому принципу, мы можем генерировать желаемые сценарии с меньшим количеством оценок», — говорит Парашар.
Кодирование субъективности
Для проведения субъективной оценки система использует модель LLM в качестве заменителя человеческих экспертов. Исследователи кодируют предпочтения каждой группы пользователей в подсказку на естественном языке для модели.
Программа LLM использует эти инструкции для сравнения двух сценариев, выбирая предпочтительный вариант на основе этических критериев.
«После рассмотрения сотен или тысяч сценариев эксперт-оценщик может устать и стать непоследовательным в своих оценках, поэтому мы используем стратегию, основанную на LLM», — объясняет Парашар.
SEED-SET использует выбранный сценарий для моделирования всей системы (в данном случае, стратегии распределения электроэнергии). Результаты моделирования помогают найти следующий наиболее подходящий сценарий для тестирования.
В конечном итоге SEED-SET интеллектуально отбирает наиболее репрезентативные сценарии, которые либо соответствуют, либо не соответствуют объективным показателям и этическим критериям. Таким образом, пользователи могут анализировать производительность системы ИИ и корректировать ее стратегию.
Например, SEED-SET может точно определить случаи распределения электроэнергии, при которых в периоды пиковой нагрузки приоритет отдается районам с более высоким уровнем дохода, в результате чего малообеспеченные районы более подвержены отключениям электроэнергии.
Для тестирования SEED-SET исследователи оценили реалистичные автономные системы, такие как энергосеть, управляемая искусственным интеллектом, и система организации городского движения. Они измерили, насколько хорошо сгенерированные сценарии соответствуют этическим критериям.
Система сгенерировала более чем в два раза больше оптимальных тестовых случаев, чем базовые стратегии, за то же время, выявив при этом множество сценариев, которые другие подходы упустили из виду.
«По мере изменения пользовательских предпочтений набор сценариев, сгенерированных SEED-SET, резко менялся. Это говорит о том, что стратегия оценки хорошо реагирует на предпочтения пользователя», — говорит Парашар.
Чтобы оценить практическую полезность SEED-SET, исследователям необходимо провести исследование с участием пользователей, чтобы выяснить, помогают ли генерируемые им сценарии в принятии реальных решений.
Помимо проведения подобного исследования, исследователи планируют изучить использование более эффективных моделей, которые могут масштабироваться для решения более крупных задач с большим количеством критериев, таких как оценка процесса принятия решений в рамках LLM.
Данное исследование частично финансировалось Агентством перспективных оборонных исследовательских проектов США (DARPA).
Источник: news.mit.edu
