Последнее исследование Google DeepMind на конференции ICML 2023

Изучение безопасности, адаптивности и эффективности ИИ в реальном мире

На следующей неделе стартует 40-я Международная конференция по машинному обучению (ICML 2023), которая пройдет с 23 по 29 июля в Гонолулу, Гавайи.

ICML объединяет сообщество специалистов по искусственному интеллекту (ИИ) для обмена новыми идеями, инструментами и наборами данных, а также для налаживания связей, способствующих развитию этой области. Исследователи со всего мира представят свои новейшие достижения в области компьютерного зрения и робототехники.

Наш директор по науке, технологиям и обществу Шакир Мохамед выступит с докладом о машинном обучении в социальных целях, решении проблем здравоохранения и климата, социально-техническом подходе и укреплении глобальных сообществ.

Мы гордимся тем, что поддерживаем конференцию в качестве платинового спонсора и продолжаем сотрудничество с нашими давними партнерами LatinX in AI, Queer in AI и Women in Machine Learning.

На конференции мы также представим демонстрационные версии AlphaFold, наши достижения в области науки о слиянии технологий и новые модели, такие как PaLM-E для робототехники и Phenaki для создания видео из текста.

Исследователи проекта Google DeepMind представят более 80 новых статей на конференции ICML в этом году. Поскольку многие статьи были поданы до объединения Google Brain и DeepMind, статьи, изначально поданные в рамках программы Google Brain, будут опубликованы в блоге Google Research, а этот блог содержит статьи, поданные в рамках программы DeepMind.

• Посмотреть полное расписание ICML 2023

ИИ в (симулированном) мире

Успех ИИ, способного читать, писать и творить, основан на базовых моделях – системах ИИ, обученных на обширных наборах данных и способных выполнять множество задач. Наши последние исследования изучают, как можно перенести эти наработки в реальный мир, и закладывают основу для создания более универсальных и интерактивных ИИ-агентов, способных лучше понимать динамику окружающего мира, открывая новые возможности для создания более полезных инструментов ИИ.

В устной презентации мы представим AdA — агента искусственного интеллекта, способного адаптироваться к решению новых задач в смоделированной среде, подобно людям. AdA за считанные минуты может справиться с непростыми задачами: комбинировать объекты новыми способами, ориентироваться в неизведанных ландшафтах и взаимодействовать с другими игроками.

Аналогичным образом мы показываем, как можно использовать модели зрительно-языкового восприятия для обучения воплощенных агентов — например, сообщая роботу, что он делает.

Будущее обучения с подкреплением

Чтобы разработать ответственный и надёжный ИИ, нам необходимо понять цели, лежащие в основе этих систем. В обучении с подкреплением это можно определить через вознаграждение.

В устном докладе мы постараемся обосновать гипотезу вознаграждения, впервые выдвинутую Ричардом Саттоном, согласно которой все цели можно рассматривать как максимизирующие ожидаемое кумулятивное вознаграждение. Мы объясним точные условия, при которых она выполняется, и выясним, какие цели могут быть достигнуты с помощью вознаграждения в общей форме задачи обучения с подкреплением.

При развертывании систем ИИ они должны быть достаточно надёжными для реальных условий. Мы ищем способы улучшить обучение алгоритмов обучения с подкреплением в условиях ограничений, поскольку инструменты ИИ часто требуют ограничений для безопасности и эффективности.

В нашем исследовании, отмеченном премией ICML 2023 года за выдающуюся работу, мы изучаем, как можно обучить модели сложной долгосрочной стратегии в условиях неопределенности и игр с неполной информацией. Мы рассказываем, как модели могут выигрывать в играх с двумя игроками, даже не зная позиции и возможных ходов соперника.

Проблемы на переднем крае ИИ

Люди способны легко учиться, адаптироваться и понимать окружающий мир. Разработка продвинутых систем искусственного интеллекта, способных к обобщению подобно человеку, поможет создать инструменты искусственного интеллекта, которые мы сможем использовать в повседневной жизни и решать новые задачи.

Один из способов адаптации искусственного интеллекта — быстрое изменение своих прогнозов в ответ на новую информацию. В устной презентации мы рассмотрим пластичность нейронных сетей и то, как она может теряться в процессе обучения, а также способы её предотвращения.

Мы также представляем исследование, которое может помочь объяснить тип контекстного обучения, возникающего в больших языковых моделях, путем изучения нейронных сетей, прошедших метаобучение на источниках данных, статистика которых изменяется спонтанно, например, при прогнозировании естественного языка.

В устной презентации мы представим новое семейство рекуррентных нейронных сетей (RNN), которые лучше справляются с задачами долгосрочного рассуждения, чтобы раскрыть потенциал этих моделей в будущем.

Наконец, в рамках «квантильного присвоения баллов» мы предлагаем подход, позволяющий отделить удачу от мастерства. Устанавливая более чёткую взаимосвязь между действиями, результатами и внешними факторами, ИИ может лучше понимать сложные реальные среды.

Источник: deepmind.google