Квартирный вопрос Чтобы робот ничего лишний раз не разгромил, учёные…

Квартирный вопрос

Чтобы робот ничего лишний раз не разгромил, учёные решили сначала запустить его в помещении, которого… не существует. Так, исследователи из MIT CSAIL и Toyota Research Institute разработали SceneSmith — это система, создающая по текстовому описанию интерактивные 3D-модельки квартир, офисов и других пространств.

Такие среды позволяют проверять алгоритмы и собирать данные для будущего обучения. Например, подопытный учился взаимодействовать с предметами: перекладывал с места на место фрукты, банки и бутылки, открывал шкафы и клал внутрь одежду — всё, чтобы в реальности это далось ему с первого раза.

В основе SceneSmith лежит мультиагентная система из трёх VLM. Designer генерирует планировку и размещение объектов, Critic изучает, насколько комната реалистична и вообще соответствует запросу, а Orchestrator проверяет результат и при необходимости откатывает его на несколько шагов назад. Все три агента работают на базе GPT-5.2 и анализируют координаты и параметры объектов, а также её рендеры с разных ракурсов.

Авторы создали более 1300 пространств. При этом алгоритмы испытали пока только в ста из них. Комната создаётся поэтапно: планировка, крупная мебель, объекты на стенах и потолке, а затем всякая мелочёвка на столах и полках. Шкафы и технику SceneSmith берёт из библиотеки готовых моделей. После предметы наделяются физикой. В среднем в каждой комнате размещали около 71 объекта.

Но пока, конечно, идея обгоняет результаты. Обычная версия алгоритма осилила 16 заданий из 100, а намеренно ухудшенная ещё меньше — 12. Видимо, всё же рискуем за пределами комнаты с мягкими стенами.