Удостоенный наград исследователь обучил роботов делать обоснованные предположения.

Йен-Лин Куо всегда хотела понять, как устроены вещи. В детстве, когда она росла на Тайване, чтение истории о Майкле Фарадее в начальной школе пробудило в ней любопытство к миру природы. В то время она познакомилась с Logo, компьютерной программой с курсором в виде черепахи, которая помогала детям изучать основы программирования посредством практических экспериментов.

Это стало первым знакомством Куо с логикой программирования.

Йен-Линг Куо

Работодатель

Университет Вирджинии в Шарлоттсвилле

Заголовок

Доцент кафедры компьютерных наук

Уровень члена

Член

Альма-матер

Национальный Тайваньский университет; Массачусетский технологический институт

В старшей школе она узнала о возможностях компьютеров. Она поняла, что может писать программы, которые выполняют задачи самостоятельно.

«Как только я поняла, насколько мощными могут быть компьютеры, — говорит она, — я осознала, что хочу сосредоточиться на использовании их для решения реальных проблем».

Куо, член IEEE, никогда не теряла интереса к тому, «как» работают процессы и инструменты. Ее любознательность в сочетании с опытом работы в компании из Силиконовой долины привела ее к сосредоточению на инновациях, находящихся на стыке когнитивных и компьютерных наук.

Куо, ныне доцент кафедры компьютерных наук в Университете Вирджинии в Шарлоттсвилле, в прошлом году получила первую премию IEEE Robotics and Automation Society «Выдающийся вклад женщин в робототехнику и автоматизацию на раннем этапе карьеры». Эта награда является частью премии IEEE-RAS Women in Engineering's Outstanding Women in Robotics and Automation (WiRA) Paper Awards, которая поощряет достижения и признает влияние женщин-исследователей на области робототехники и автоматизации на разных этапах их академической карьеры.

В статье Куо, получившей награду, «Diff-DAgger: Оценка неопределенности с помощью диффузионной политики для роботизированных манипуляций», демонстрируется новый метод, помогающий роботам лучше выявлять и оценивать неопределенность в ситуациях, для которых они не были обучены. Этот метод уменьшает объем человеческого контроля, повышает вероятность успешного выполнения задач роботом и открывает путь для внедрения более сложных моделей с большими объемами данных в интерактивное обучение роботов.

Она утверждает, что ее исследование поможет специалистам в области робототехники и автоматизации более эффективно собирать данные, необходимые для эффективного обучения моделей.

Влияние Силиконовой долины

Куо получила степень бакалавра и магистра компьютерных наук в Национальном университете Тайваня в Тайбэе в 2009 и 2012 годах соответственно. Приближаясь к завершению обучения в магистратуре, она поступила так, как поступают многие выпускники компьютерных специальностей: прошла летнюю стажировку в технологической компании.

Летом 2011 года она провела время в кампусе Google в Киркленде, штат Вашингтон, работая над проектом компании по созданию рекламных объявлений, позволяющих сравнивать цены.

После окончания стажировки она присоединилась к MIT Media Lab в качестве приглашенного студента, работая над проектом Open Mind Common Sense с Генри Либерманом.

Когда она раздумывала над поступлением в аспирантуру, звонок из Google изменил ее планы. Компания предложила ей постоянную должность инженера-программиста.

«Я восприняла предложение о работе как позитивный шаг, — говорит она. — Я считаю, что получение реального практического опыта никогда не повредит вашей будущей научной карьере».

Она была принята на работу в 2012 году и помогала разрабатывать методы, использующие компьютерное зрение и обработку естественного языка для улучшения процесса поиска товаров для покупателей. Она возглавляла инициативу компании Shop the Look, предшественницу нынешнего опыта покупок в Google, основанного на искусственном интеллекте. Проект связал контент из социальных сетей с результатами поиска, чего компании раньше не удавалось сделать.

Перед Куо и ее командой стояла задача установить связь между естественным языком, который люди используют для описания предмета, и изображением, соответствующим намерению пользователя при поиске. Это происходило в то время, когда нейронные сети — использующие модели глубокого обучения для создания продуктов Google — набирали обороты в компании. Интеграция инструментов нейронных сетей в ее работу была обязательным требованием, что вызвало у Куо ряд вопросов.

«Я применяла инструменты нейронных сетей, — говорит она. — Но у меня не было стопроцентной уверенности в том, как они на самом деле работают».

Она задумалась о том, как лучше изучить модели глубокого обучения. Это был момент, когда круг замкнулся. После почти четырех лет работы в Google она решила, что пора получить докторскую степень по информатике. В 2016 году она вернулась в MIT.

Вопрос, изменивший всё.

Борис Кац, один из научных руководителей диссертации Куо, является ведущим научным сотрудником и главой InfoLab Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL). Он также руководил созданием системы обработки естественного языка START, первой в мире веб-системы ответов на вопросы.

Когда они встретились, Кац спросил Куо, почему она хочет получить докторскую степень. Она объяснила, что ее интересует понимание того, как работают нейронные сети, и использование этих знаний для связи физического мира с человеческим языком.

Он предложил ей пройти летний курс в Центре изучения мозга, разума и машин (CBMM) Массачусетского технологического института (MIT), исследовательской инициативе, которая действовала с 2013 по 2025 год. Целью CBMM было объединение специалистов в области компьютерных наук, когнитивных наук и нейробиологии для понимания того, как работает человеческий интеллект. Задача состояла в том, чтобы использовать полученные знания для создания инженерной практики по разработке систем искусственного интеллекта.

Для Куо это стало возможностью лучше понять человеческий интеллект и определить способы его воспроизведения в машинах.

«Это дало мне возможность пообщаться с другими учеными и понять, как люди учатся, осмысливают и разбираются в окружающем мире», — говорит она. «Я увидела в этом очень полезный и вдохновляющий способ применить эти идеи в своей собственной исследовательской работе».

Во время обучения в аспирантуре она работала научным ассистентом в CSAIL. Этот опыт помог сформировать её докторскую диссертацию, которая была посвящена созданию систем искусственного интеллекта, применяющих накопленный опыт к новым ситуациям. Для поддержки этой работы она разработала модели машинного обучения, включая модели понимания языка и социальных взаимодействий.

Она защитила докторскую диссертацию по информатике в 2022 году, получив дополнительную специализацию в области когнитивных наук.

После окончания университета она продолжила свою работу и сотрудничество в CSAIL, в частности, над проектами, связанными с концепцией «теории разума».

Теория разума стимулирует инновации

Теория сознания не нова, она зародилась благодаря исследованиям приматологов, изучавших шимпанзе в конце 1970-х годов. Теория признает, что у других людей есть свои собственные мысли, убеждения и взгляды. Это навык, позволяющий людям делать выводы о психическом состоянии другого человека и предсказывать его поведение без вербального общения.

«Это как когда соседи по комнате в общежитии заселяются. Они могут не слишком много разговаривать, но естественным образом работают вместе, координируя свои действия и достигая целей», — говорит Куо. «Они могут делать выводы и мысленно интерпретировать поведение и сигналы друг друга, чтобы принимать решения и выполнять задачи без слов».

Она привнесла свои исследования в области теории сознания в Университет Вирджинии, когда присоединилась к нему в качестве доцента в 2023 году.

Куо проводит свои исследования в междисциплинарной киберфизической лаборатории Link Lab инженерного факультета Университета Вирджинии. Ее основная задача — разработка вычислительных моделей, помогающих роботам интерпретировать как прямые данные, так и скрытые сигналы, от языка и движений до взгляда человека. В случае успеха это может наделить роботов теми же способностями к физическому и теоретическому мышлению, которые лежат в основе физического и социального взаимодействия между людьми.

«Пока не существует вычислительных платформ, которые позволили бы эффективно преобразовать подобное понимание в работу робота», — говорит она.

Она добавляет, что процесс достижения этой цели начинается с улучшения того, как роботы учатся выполнять задачи.

Эволюция обучения роботов

Исторически сложилось так, что одним из способов обучения роботов было подражание людям. Исследователь вручную управлял роботом, выполняя определенную задачу, например, разрезая яблоко, и робот повторял движения. Робот успешно справлялся с ней до тех пор, пока не менялась окружающая среда, например, когда его рука оказывалась в другом положении или яблоко — под другим углом. Тогда робот сталкивался с ситуацией, к которой он не был подготовлен. Без каких-либо данных, которые могли бы помочь ему скорректировать курс, робот начинал совершать небольшие ошибки, которые в конечном итоге приводили к полному сбою системы.

На этой диаграмме показано, как визуальное и тактильное восприятие роботизированного захвата предотвращает поломку картофельной чипсы. (Сюйхуэй Кан, Йен-Лин Куо и др.)

Для решения этой проблемы исследователи разработали метод агрегации наборов данных (DAgger). Пока робот выполнял задачу, исследователь находился в режиме реального времени, чтобы вносить корректировки в непредвиденных ситуациях. Данные для корректировки непрерывно добавлялись в модель робота, обучая его исправлять ошибки.

Для уменьшения трудозатрат на человеческий контроль была создана роботизированная система DAgger, позволяющая ботам задавать вопросы людям, когда машины начинают сомневаться.

Наиболее распространенный подход к принятию решения о выполнении запроса заключается в обучении нескольких моделей, которые будут учитываться при определении дальнейших действий. Если все модели сходятся во мнении, робот продолжает работу. Если же нет, робот, скорее всего, застрянет и запросит помощь.

Хотя подход с использованием нескольких моделей получил широкое распространение, он имеет свои ограничения. На практике, по мере усложнения моделей, обучение нескольких копий становится сложным или невозможным. Более фундаментальная проблема заключается в том, что расхождения между моделями не всегда означают неопределенность; это может просто означать, что существуют разные способы решения задачи.

Решение Diff-DAgger

Именно этот пробел заполнила исследовательская группа Куо с помощью новаторского подхода Diff-DAgger. Этот подход основан на политике диффузии — методе, который помогает роботам учитывать различные способы выполнения задачи.

Новый метод использует функцию потерь диффузии — сигнал, который робот применяет для улучшения своей модели во время обучения, — в качестве проверки достоверности в реальном времени. Во время выполнения задачи робот вычисляет этот сигнал и сравнивает его со значениями из обучающих данных, используя статистический тест. Сигнал резко возрастает, когда робот сталкивается с незнакомой ситуацией и не уверен, как действовать дальше. Сигнал исчезает, когда текущее действие робота близко к тому, чему он научился ранее.

Всплеск сигнала отражает способность робота к самодиагностике и прогнозированию неизбежной поломки. Вмешательство человека происходит только при возникновении всплеска сигнала. Отсутствие всплеска означает, что робот может самостоятельно завершить процесс принятия решений.

Команда Куо добилась значительных результатов: точность прогнозирования сбоев улучшилась на 39 процентов, показатели выполнения задач выросли на 20 процентов, а сами задачи выполнялись почти в восемь раз быстрее.

Ее исследования в Университете Вирджинии привлекли внимание Национального научного фонда, который в прошлом году наградил ее премией Career Award — флагманским грантом фонда для молодых исследователей. Пятилетний грант в размере 665 000 долларов США поддерживает ее исследования по созданию вычислительных моделей взаимодействия человека и робота на основе теории разума.

Она также получила премию Toyota Research Institute для молодых исследователей за разработку методики обучения автомобилей распознаванию взаимодействий на дороге и с водителем.

По мере того как сервисные роботы и беспилотные автомобили становятся все более доступными, подобные разработки, вероятно, сделают взаимодействие между людьми и роботами более интуитивным и полезным.

В конечном итоге Куо хочет создать более совершенных роботов, способных интегрироваться в социальное пространство с людьми, взаимодействуя с нами посредством реалистичного общения, говорит она.

Влияние IEEE

Как и многие члены IEEE, Куо познакомилась с организацией еще будучи студенткой. В 2018 году, во время обучения в аспирантуре Массачусетского технологического института, она представила свою первую статью «Глубокие последовательные модели для планирования на основе выборки» на Международной конференции IEEE/Японского общества робототехники по интеллектуальным роботам и системам. Ее участие в IEEE росло параллельно с ее профессиональной карьерой.

«Переход от студенческой жизни к полноценному членству в IEEE был естественным шагом», — говорит она. Сегодня она активно занимается волонтерской деятельностью в Обществе робототехники и автоматизации IEEE, является рецензентом представленных статей, а также выступает в качестве докладчика и участника дискуссий на конференциях.

Она говорит, что одна из лучших сторон посещения конференций — это возможность общаться со студентами. Ей также нравится участвовать в качестве эксперта на обедах, потому что это дает ей возможность пообщаться с участниками конференции один на один. Она может поделиться своими знаниями и предложить ценные советы, которые помогут им начать свою карьеру.

По ее словам, в ближайшие годы она планирует расширить свое участие в инициативах IEEE и войти в состав других технических комитетов. Обмен знаниями и обучение у других, по ее мнению, имеют важное значение для карьерного роста, и «IEEE предоставляет прекрасную возможность для того и другого».