SIMA 2, способная решать проблемы в виртуальных мирах, может привести к появлению более универсальных агентов и более совершенных роботов.
Компания Google DeepMind создала нового агента для видеоигр SIMA 2, способного ориентироваться и решать задачи в широком спектре трёхмерных виртуальных миров. Компания утверждает, что это большой шаг к созданию более универсальных агентов и более совершенных роботов для реального мира.
Компания Google DeepMind впервые продемонстрировала SIMA (что расшифровывается как «масштабируемый инструктируемый многомировой агент») в прошлом году. Однако SIMA 2 построена на базе Gemini, флагманской модели компании с большим количеством языков, что значительно расширяет возможности агента.
Исследователи утверждают, что SIMA 2 может выполнять ряд более сложных задач в виртуальных мирах, самостоятельно находить решения некоторых задач и общаться с пользователями. Кроме того, SIMA 2 может совершенствоваться, многократно решая более сложные задачи и обучаясь методом проб и ошибок.
«Игры уже давно являются движущей силой исследований агентов», — заявил на пресс-конференции на этой неделе Джо Марино, исследователь из Google DeepMind. Он отметил, что даже простое действие в игре, например, зажигание фонаря, может состоять из нескольких этапов: «Это действительно сложный набор задач, которые нужно решить для продвижения».
Конечная цель — разработка агентов нового поколения, способных следовать инструкциям и выполнять нестандартные задачи в более сложных средах, чем веб-браузер. В долгосрочной перспективе Google DeepMind планирует использовать таких агентов для управления реальными роботами. Марино заявил, что навыки, освоенные SIMA 2, такие как ориентирование в пространстве, использование инструментов и сотрудничество с людьми для решения задач, являются важнейшими составляющими для будущих роботов-компаньонов.
В отличие от предыдущих работ по игровым агентам, таких как AlphaZero, победивший гроссмейстера по го в 2016 году, или AlphaStar, победивший 99,8% игроков-людей, участвующих в рейтинговых соревнованиях по видеоигре StarCraft 2 в 2019 году, идея SIMA заключается в обучении агента играть в открытую игру без заранее заданных целей. Вместо этого агент учится выполнять инструкции, данные ему людьми.
Управление SIMA 2 осуществляется через текстовый чат, посредством голосовых команд или рисования на экране игры. Агент покадрово считывает пиксели видеоигры и определяет, какие действия необходимо выполнить для выполнения поставленных задач.
Как и его предшественник, SIMA 2 обучался на видеозаписях людей, играющих в восемь коммерческих видеоигр, включая No Man's Sky и Goat Simulator 3, а также в трёх виртуальных мирах, созданных компанией. Агент научился сопоставлять действия с клавиатуры и мыши.
Исследователи утверждают, что при подключении к Gemini SIMA 2 гораздо лучше выполняет инструкции (задает вопросы и предоставляет обновления по ходу дела) и самостоятельно определяет, как выполнять некоторые более сложные задачи.
Google DeepMind протестировала агента в условиях, с которыми он никогда ранее не сталкивался. В одной из серий экспериментов исследователи попросили Genie 3, последнюю версию модели мира компании, создать среды с нуля и поместили в них SIMA 2. Они обнаружили, что агент способен ориентироваться и выполнять инструкции.
Исследователи также использовали Gemini для генерации новых заданий для SIMA 2. Если агент терпел неудачу, Gemini сначала генерировал подсказки, которые SIMA 2 учитывала при следующей попытке. Многократное повторение задачи таким образом часто позволяло SIMA 2 совершенствоваться методом проб и ошибок, пока не добивалась успеха, сказал Марино.
Git gud
SIMA 2 всё ещё находится на стадии эксперимента. Агент испытывает трудности со сложными задачами, требующими многоэтапного выполнения и длительного времени. Он также запоминает только свои последние взаимодействия (чтобы повысить отзывчивость SIMA 2, команда сократила его долговременную память). Кроме того, он пока ещё не так хорошо, как люди, взаимодействует с виртуальным миром с помощью мыши и клавиатуры.
Джулиан Тогелиус, исследователь искусственного интеллекта из Нью-Йоркского университета, работающий над творческими аспектами и видеоиграми, считает это интересным результатом. По его словам, предыдущие попытки обучить одну систему играть в несколько игр не увенчались успехом. Это связано с тем, что обучение моделей управлению несколькими играми, просто глядя на экран, — непростая задача: «Играть в реальном времени, используя только визуальную информацию, — это „сложный режим“», — говорит он.
В частности, Тогелиус упоминает GATO, предыдущую систему от Google DeepMind, которая, несмотря на шумиху в свое время, не могла переносить навыки между значительным количеством виртуальных сред.
Тем не менее, он непредвзято относится к вопросу о том, может ли SIMA 2 привести к созданию более совершенных роботов. «Реальный мир одновременно сложнее и проще видеоигр», — говорит он. Сложнее, потому что нельзя просто нажать A, чтобы открыть дверь. В то же время робот в реальном мире будет точно знать, что его тело может делать, а что нет, в любой момент времени. В видеоиграх всё иначе: правила внутри каждого виртуального мира могут различаться.
Другие настроены более скептически. Мэтью Гуздиал, исследователь искусственного интеллекта из Альбертского университета, не слишком удивлён, что SIMA 2 может играть во множество разных видеоигр. Он отмечает, что у большинства игр очень похожее управление клавиатурой и мышью: изучите одну — и выучите все. «Если дать ей игру со странным управлением, не думаю, что она будет хорошо работать», — говорит он.
Гуздиал также задаётся вопросом, насколько знания SIMA 2 действительно применимы к роботам. «В реальном мире гораздо сложнее понимать визуальные эффекты с камер, чем в играх, где визуальные эффекты легко распознаются игроками-людьми», — говорит он.
Тем не менее, Марино и его коллеги надеются продолжить работу с Genie 3, чтобы позволить агенту совершенствоваться в своего рода бесконечном виртуальном тренировочном додзё, где Genie генерирует миры, в которых SIMA может учиться методом проб и ошибок, руководствуясь отзывами Gemini. «Мы лишь поверхностно коснулись того, что возможно», — сказал он на пресс-конференции.
Источник: www.technologyreview.com
