Motional и MIT AI объясняют решения, принимаемые беспилотными автомобилями.

Физический ИИ

Motional и MIT AI объясняют решения, принимаемые беспилотными автомобилями.

Исследователи из Motional и MIT разработали систему, которая позволяет беспилотным автомобилям объяснять свои решения в режиме реального времени, решая проблему «черного ящика» в области искусственного интеллекта для автономных транспортных средств.

Работа, опубликованная в журнале Nature, принадлежит команде Motional, в которую входит генеральный директор Лаура Мейджор, и выполняется совместно с исследователями из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Предложенный ими метод, получивший название Concept-Wrapper Network или CW-Net, направлен на преобразование внутренних вычислений нейронной сети беспилотной системы в концепции, которые человек может реально прочитать.

Если современный беспилотный автомобиль резко тормозит на чистой дороге без видимых препятствий, ни водитель, ни пассажир не могут понять причину. Современные системы автономного вождения все чаще используют нейронные сети, обученные на больших объемах данных о вождении. Эти сети могут работать хорошо, но они не раскрывают свои рассуждения, поэтому инженеры называют их «черными ящиками».

Перевод логики нейронных сетей на понятный для человека язык.

Система CW-Net работает, преобразуя внутреннюю логику системы автономного вождения в такие понятия, как «Приближение к остановившемуся транспортному средству» или «Близко к велосипедисту». По данным Motional, эти понятия могут отображаться на приборной панели, показывая, какие из них влияют на решения водителя в процессе движения.

Система разработана таким образом, что объяснения не генерируются постфактум как догадки о том, что могла делать нейронная сеть. Вместо этого, система принятия окончательных решений в автомобиле принимает решения, основываясь непосредственно на этих понятных человеку концепциях, поэтому событие торможения отслеживается до конкретной концепции, которая его вызвала. Компания Motional описывает это как причинно-следственно верный подход, отличая его от методов, генерирующих объяснения на естественном языке, которые могут казаться правдоподобными, но не обязательно точными.

Лаура Мейджор обосновывает необходимость такой интерпретируемости в противовес альтернативе, заключающейся в опоре исключительно на сквозное глубокое обучение для принятия решений, касающихся вождения.

«Общий комплексный подход может обеспечить действительно хорошее решение на 80-90 процентов, а может быть, даже на 95 процентов, но этого недостаточно, чтобы исключить водителя из числа потенциальных нарушителей или завоевать доверие городов, местных сообществ и клиентов», — сказала она.

Тестирование объяснимого искусственного интеллекта для беспилотных автомобилей в Лас-Вегасе.

По данным компании Motional, исследования в области объяснимого искусственного интеллекта в основном оставались в рамках компьютерного моделирования в лабораторных условиях. Вместо этого команда Motional и MIT развернула CW-Net на автономном транспортном средстве с опытным оператором по безопасности за рулем, собирая данные на частном испытательном полигоне и на дорогах общего пользования вокруг Лас-Вегаса.

Команда использовала более раннюю экспериментальную версию своей системы планирования на основе глубокого обучения, которая, как было описано, демонстрировала конкурентоспособные результаты, но имела заметные недостатки, которые CW-Net могла бы помочь выявить. Два инцидента из тестирования иллюстрируют то, что выявила система.

В одном из экспериментов беспилотный автомобиль неоднократно останавливался возле дорожного конуса, и оператор предположил, что конус сам по себе запускает это поведение. Исследователи убрали конус, но машина все равно остановилась. На экране CW-Net отобразилась реальная причина: экспериментальная система планирования галлюцинировала остановившийся впереди автомобиль, что было подтверждено данными ее обучения. Это объяснение позволило исследователям понять, предсказать и решить проблему.

Второй тест включал в себя велосипедиста. Автономный автомобиль обнаружил велосипедиста и остановился перед ним, как и ожидалось, но CW-Net показал, что экспериментальная система планирования на самом деле не основывала свое решение на присутствии велосипедиста. Водитель-оператор, заметив это, проявил большую осторожность по отношению к велосипедистам. Последующий анализ подтвердил, что осторожность была оправдана, поскольку торможение автомобиля в этом случае осуществлялось резервной системой безопасности, а не экспериментальным планировщиком на основе глубокого обучения.

Показатели производительности оставались стабильными по отношению к объяснимости.

Добавление уровней объяснимости в систему искусственного интеллекта влечет за собой известные потери в скорости и производительности, и компания Motional признает этот риск. Однако, когда исследователи сравнили CW-Net с ведущими алгоритмами автономного вождения, разница в возможностях вождения составила менее одного процента.

Инциденты в Лас-Вегасе показывают, почему этот компромисс важен не только с теоретической, но и с оперативной точки зрения. Водитель-оператор, способный определить, что остановка вызвана «галактическим» автомобилем или что за маневр отвечает резервная система, а не основной планировщик, может отреагировать и сообщить о результатах с большей точностью, чем тот, кто ориентируется только на поведение.

Такая прозрачность напрямую влияет на скорость диагностики системы инженерной командой и на уверенность оператора по технике безопасности в различении запланированного поведения и неисправности.

Компания Motional связывает работу над CW-Net с более широким давлением на операторов беспилотных автомобилей по мере распространения технологии на новые рынки и в новые юрисдикции. Регуляторы, естественно, требуют большей прозрачности в отношении того, как системы искусственного интеллекта принимают решения, и ожидают, что такие инструменты, как CW-Net, могут перейти от исследовательских проектов к базовому требованию.

Помимо легковых автомобилей, к областям, критически важным с точки зрения безопасности, относятся автономные дроны и даже роботизированная хирургия, где операторам и разработчикам потребуются способы понимания возможностей, ограничений и неожиданного поведения системы.

Узнайте больше о физическом искусственном интеллекте на выставке Physical AI Expo, которая пройдет в Амстердаме, Лондоне и Северной Америке.

См. также: Искусственный интеллект MIT прогнозирует экстремальные погодные условия без исторических данных.

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками, включая Cyber Security & Cloud Expo. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com