Система помогает людям предсказывать, когда беспилотные автомобили будут совершать ошибки.

Новый метод, называемый CW-Net, переводит процесс рассуждений системы искусственного интеллекта автономного транспортного средства в понятные концепции, объясняющие его поведение. Телефон: 617-253-2709 MIT News Office Подпись : Метод CW-Net объясняет поведение автономного транспортного средства с помощью понятных концепций. «Вместо того чтобы просто гадать, почему машина остановилась, данные в реальном времени обеспечивают обратную связь, которая позволяет тестировать систему во время эксплуатации», — говорит Эоин Кенни. Источник : Изображение: MIT News; iStock Технология CW-Net объясняет поведение автономного транспортного средства с помощью понятных концепций. «Вместо того чтобы просто гадать, почему машина остановилась, данные в реальном времени обеспечивают обратную связь, которая позволяет тестировать систему во время эксплуатации», — говорит Эоин Кенни. Изображение: MIT News; iStock

Автопилотируемые автомобили часто управляются моделями глубокого обучения, которые иногда дают сбои в неожиданных ситуациях. Например, автомобиль может необъяснимо затормозить и перекрыть путь приближающемуся транспортному средству экстренных служб. Водителю или пассажиру может потребоваться быстро среагировать, чтобы предотвратить столкновение.

Чтобы помочь людям лучше предвидеть ошибки, допускаемые транспортным средством, исследователи из Массачусетского технологического института и компании Motional, занимающейся разработкой технологий автономного вождения, разработали новый метод, который предоставляет четкие объяснения решений, принимаемых базовой моделью.

Обычно внутренний процесс рассуждений в моделях глубокого обучения непрозрачен и сложен для понимания. Но новый метод, называемый Concept-Wrapper Network (CW-Net), преобразует этот процесс рассуждений в концепции, которые точно описывают решения автономного транспортного средства, не изменяя при этом его ходовые качества.

CW-Net объясняет решения планировщиков, использующих машинное обучение, с помощью понятных концепций, таких как «приближение к остановившемуся транспортному средству» или «близость к велосипедисту». Эти объяснения могут исправить ошибочные представления водителей и пассажиров о поведении транспортных средств и улучшить их ситуационную осведомленность.

В ходе дорожных испытаний на частной трассе объяснения CW-Net помогли водителям-операторам более точно прогнозировать поведение автомобиля; более масштабное имитационное исследование с участием неспециалистов дало аналогичные результаты. Эти эксперименты показывают, как CW-Net может предоставлять важную обратную связь инженерам при устранении неполадок в бортовых системах искусственного интеллекта. В долгосрочной перспективе эта технология может повысить безопасность и прозрачность автономных транспортных средств, одновременно укрепляя доверие водителей и пассажиров.

«Эта работа показывает, как объяснения поддерживают ментальную модель человека и его понимание поведения системы, и как их можно использовать в инженерии и разработке для улучшения технологий», — говорит Джули Шах, профессор аэронавтики и космонавтики Массачусетского технологического института, директор группы интерактивной робототехники в Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и соавтор статьи о CW-Net. «Если мы не создаём эти технологии таким образом, чтобы можно было полагаться на их поведение и предсказывать его, то их использование будет шатким и небезопасным».

Вместе с ней в статье приняли участие ведущий автор Эоин Кенни, бывший научный сотрудник Массачусетского технологического института, а ныне старший научный сотрудник в JP Morgan Chase; соавтор Момчил Томов, научный сотрудник Motional; а также члены команды Motional Акшай Дхармаварам, Санг Ук Ли, Тунг Фан-Минь, Шрейас Раджеш, Юньцин Ху и Лора Мейджор, президент и генеральный директор Motional. Исследование опубликовано сегодня в журнале Nature.

Достоверные объяснения

Системы планирования на основе машинного обучения выступают в роли «мозга» беспилотного автомобиля. Эти мощные архитектуры глубокого обучения обрабатывают данные с камер и лидарных датчиков автомобиля, генерируют высокоуровневое описание окружающей среды, определяют дальнейшие действия автомобиля и выдают траекторию движения.

Как правило, системы планирования представляют собой модели типа «черный ящик», что означает, что их внутренний процесс принятия решений настолько сложен, что его трудно понять. Это может оставлять ученых и водителей-операторов в неведении относительно того, почему автономный автомобиль принял неожиданное решение, например, «фантомное торможение».

Исследователи разработали CW-Net для объяснения решений, принимаемых транспортным средством, с помощью понятных концепций, обеспечивая при этом точное отражение в этих объяснениях истинных причин его поведения.

«Особенно в ситуациях с высокими ставками, таких как разработка беспилотных автомобилей, важно, чтобы объяснения не вводили в заблуждение. Поскольку CW-Net принимает решения, основываясь на причинно-следственной связи, это дает определенные гарантии относительно объяснений», — говорит Кенни.

CW-Net — это «классификатор концепций», алгоритм искусственного интеллекта, обученный предсказывать высокоуровневые концепции, присутствующие во входных данных. Исследователи интегрировали модуль CW-Net в существующую архитектуру планирования машинного обучения автономного транспортного средства.

Она преобразует внутренний процесс рассуждений модели в понятные концепции, такие как «приближение к остановившемуся транспортному средству» или «близость к велосипедисту». Затем она заставляет заключительный элемент архитектуры модели планирования использовать эти концепции при принятии решения о дальнейших действиях транспортного средства. Таким образом, CW-Net гарантирует, что концепции точно описывают действия транспортного средства.

В то же время, CW-Net использует классифицированные ею концепции для генерации понятных объяснений, которые выводятся вместе с траекторией движения транспортного средства в режиме реального времени.

«Вместо того чтобы просто гадать, почему машина остановилась, наличие данных в реальном времени обеспечивает обратную связь, которая позволяет тестировать систему во время эксплуатации. Вы также можете передать эти данные инженеру для потенциального улучшения системы», — говорит Кенни.

Исследователи обучили CW-Net прогнозировать концепции, используя набор данных из 130 миллионов примеров сцен из беспилотных автомобилей, причем в каждой сцене было несколько размеченных концепций. Использование такого большого размеченного набора данных позволяет точно определять концепции в широком диапазоне условий.

Они также разработали CW-Net таким образом, чтобы он имитировал решения о вождении, принимаемые планировщиками на основе машинного обучения, поэтому модуль не оказывал бы негативного влияния на характеристики автомобиля.

В конечном итоге, CW-Net генерирует точные и понятные объяснения, не изменяя исходную модель глубокого обучения.

Повышение ситуационной осведомленности

Для проверки CW-Net исследователи развернули модуль на реальном тестовом автомобиле с автономным управлением (роботакси Motional) на частной трассе с водителем-оператором. Они обнаружили, что CW-Net помог водителю-оператору лучше предсказывать поведение автомобиля в неожиданных ситуациях.

Например, транспортное средство неизменно останавливалось при приближении к велосипедисту, и водитель-оператор предположил, что это произошло потому, что он обнаружил велосипедиста. Однако объяснения CW-Net показали, что модель была неправильно настроена для обнаружения велосипедиста и выбрала траекторию, которая привела бы к столкновению. Вместо этого она остановилась, потому что сработала процедура экстренного торможения, когда она приблизилась слишком близко.

Обладая этой информацией об ошибке модели, водитель-оператор мог бы раньше снизить скорость или переключиться в ручной режим вождения в подобных ситуациях. Это также могло бы помочь инженерам исправить модель, чтобы избежать подобных сбоев в будущем.

В более масштабных онлайн-исследованиях с использованием реальных дорожных ситуаций, зафиксированных на дорогах Лас-Вегаса, исследователи получили аналогичные результаты. Объяснения CW-Net значительно улучшили способность участников прогнозировать поведение автономного транспортного средства.

В будущем исследователи могли бы расширить функционал CW-Net, чтобы модуль охватывал больше концепций, а также изучить различные методы обучения и проектирования, которые могли бы повысить производительность и улучшить интерпретируемость.

«Наше исследование показывает, насколько важна интерпретируемость в таких критически важных ситуациях, и как это должно учитываться при разработке ИИ в будущем, для беспилотных автомобилей или других критически важных с точки зрения безопасности сред», — говорит Кенни.

Источник: news.mit.edu