Чтобы помочь моделям генеративного ИИ создавать прочные, реалистичные аксессуары и предметы декора, система PhysiOpt запускает физические симуляции и вносит незначительные корректировки в свои 3D-чертежи. 
Система PhysiOpt дополняет генеративные модели искусственного интеллекта физическими симуляциями, помогая проектировать такие вещи, как брелоки и подставки для книг. Полученные в результате 3D-печати изделия могут использоваться в реальных условиях. Изображения предоставлены исследователями.
У вас когда-нибудь возникала идея чего-то, что выглядело круто, но плохо работало на практике? Когда дело доходит до проектирования таких вещей, как предметы декора и аксессуары для личной гигиены, модели генеративного искусственного интеллекта (genAI) могут это подтвердить. Они способны создавать креативные и сложные 3D-модели, но когда вы пытаетесь воплотить такие чертежи в реальные объекты, они обычно не пригодны для повседневного использования.
Основная проблема заключается в том, что моделям genAI часто не хватает понимания физики. Хотя такие инструменты, как система TRELLIS от Microsoft, могут создавать 3D-модель из текстовой подсказки или изображения, её конструкция, например, стула, может быть нестабильной или иметь разрозненные части. Модель не до конца понимает, для чего предназначен ваш объект, поэтому даже если ваше сиденье можно напечатать на 3D-принтере, оно, скорее всего, развалится под воздействием силы, с которой на него сядут.
В попытке заставить эти конструкции работать в реальном мире, исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) проводят проверку генеративных моделей ИИ на соответствие реальности. Их система «PhysiOpt» дополняет эти инструменты физическими симуляциями, позволяя создавать чертежи личных вещей, таких как чашки, брелоки и подставки для книг, которые будут работать должным образом при 3D-печати. Она быстро проверяет жизнеспособность структуры вашей 3D-модели, мягко изменяя мелкие формы, при этом обеспечивая сохранение общего внешнего вида и функциональности конструкции.
Вы можете просто ввести в PhysiOpt то, что хотите создать и для чего это будет использоваться, или загрузить изображение в пользовательский интерфейс системы, и примерно через полминуты получите реалистичный 3D-объект для изготовления. Например, исследователи CSAIL задали системе задачу сгенерировать «стакан в форме фламинго для питья», который они распечатали на 3D-принтере в виде стакана с ручкой и основанием, напоминающими лапу тропической птицы. В процессе создания дизайна PhysiOpt вносила небольшие корректировки, чтобы обеспечить структурную прочность конструкции.
«PhysiOpt сочетает в себе искусственный интеллект и оптимизацию форм на основе физических принципов, помогая практически любому создавать желаемые дизайны для уникальных аксессуаров и украшений», — говорит Сяо Шон Чжан SM '25, аспирант кафедры электротехники и информатики Массачусетского технологического института и исследователь CSAIL, соавтор статьи, посвященной этой работе. «Это автоматизированная система, которая позволяет сделать форму физически изготавливаемой, учитывая определенные ограничения. PhysiOpt может итеративно дорабатывать свои творения столько раз, сколько вам потребуется, без дополнительного обучения».
Этот подход позволяет создать «умный дизайн», где генератор на основе ИИ изготавливает ваш предмет на основе спецификаций пользователя, учитывая при этом функциональность. Вы можете ввести свою любимую 3D-модель, созданную с помощью генеративного ИИ, и после ввода того, что вы хотите сгенерировать, указать, какую силу или вес должен выдерживать объект. Это удобный способ смоделировать реальное использование, например, предсказать, будет ли крючок достаточно прочным, чтобы удержать ваше пальто. Пользователи также указывают, из каких материалов они будут изготавливать предмет (например, из пластика или дерева) и как он будет поддерживаться — например, чашка стоит на полу, а подставка для книг опирается на стопку книг.
Учитывая специфику проекта, PhysiOpt начинает итеративную оптимизацию объекта. Внутри системы выполняется физическое моделирование, называемое «анализом методом конечных элементов», для проверки конструкции на прочность. Это всестороннее сканирование предоставляет тепловую карту вашей 3D-модели, которая показывает, где ваш чертеж недостаточно надежен. Если вы, например, создаете скворечник, вы можете обнаружить, что опорные балки под домиком окрашены в ярко-красный цвет, а это значит, что домик рухнет, если его не укрепить.
PhysiOpt способен создавать еще более смелые изделия. Исследователи убедились в этом на собственном опыте, когда изготовили брелок в стиле стимпанк (стиль, сочетающий викторианскую и футуристическую эстетику) с замысловатыми крючками, напоминающими роботов, и «столик в форме жирафа» с плоской задней стенкой, на которую можно ставить предметы. Но как он определил, что такое «стимпанк», и как вообще должен выглядеть такой уникальный предмет мебели?
Примечательно, что решение не заключается в обширном обучении — по крайней мере, не со стороны исследователей. Вместо этого PhysiOpt использует предварительно обученную модель, которая уже видела тысячи форм и объектов. «Существующим системам часто требуется много дополнительного обучения, чтобы получить семантическое понимание того, что вы хотите увидеть», — добавляет соавтор Клеман Жамбон, который также является аспирантом кафедры электротехники и информатики Массачусетского технологического института и исследователем CSAIL. «Но мы используем модель, которая уже обладает этим пониманием того, что вы хотите создать, поэтому PhysiOpt не требует обучения».
Работая с предварительно обученной моделью, PhysiOpt может использовать «априорные знания о форме», или представления о том, как должны выглядеть формы на основе предыдущего обучения, для генерации того, что хотят видеть пользователи. Это похоже на художника, воссоздающего стиль известного живописца. Его опыт основан на тщательном изучении различных художественных подходов, поэтому он, скорее всего, сможет воспроизвести именно эту эстетику. Аналогично, знание предварительно обученной моделью форм помогает ей создавать 3D-модели.
Исследователи CSAIL отметили, что визуальные знания PhysiOpt помогли системе создавать 3D-модели более эффективно, чем «DiffIPC», аналогичный метод, моделирующий и оптимизирующий формы. Когда обеим системам было поручено генерировать 3D-модели таких предметов, как стулья, система CSAIL работала почти в 10 раз быстрее на каждой итерации, создавая при этом более реалистичные объекты.
PhysiOpt представляет собой потенциальный мост между идеями и реальными предметами личного пользования. Например, то, что вам кажется отличной идеей для кофейной кружки, вскоре может перекочевать с экрана вашего компьютера на ваш рабочий стол. И хотя PhysiOpt уже выполняет стресс-тестирование для дизайнеров, вскоре он сможет прогнозировать ограничения, такие как нагрузки и границы, вместо того, чтобы пользователям приходилось предоставлять эти данные. Этот более автономный, основанный на здравом смысле подход может стать возможным благодаря интеграции моделей обработки визуального языка, которые сочетают понимание человеческого языка с компьютерным зрением.
Более того, Чжан и Джамбон намерены устранить артефакты, или случайные фрагменты, которые иногда появляются в 3D-моделях PhysiOpt, сделав систему еще более подкованной в физических принципах. Ученые из MIT также рассматривают возможность моделирования более сложных ограничений для различных методов изготовления, таких как минимизация выступающих компонентов для 3D-печати.
Чжан и Джамбон написали свою статью совместно с ведущим научным сотрудником лаборатории искусственного интеллекта MIT-IBM Watson Кенни Нгом (выпускник 1989 г., магистр наук, 1990 г., доктор философии, 2000 г.) и двумя коллегами из CSAIL: студентом-исследователем Эваном Томпсоном и доцентом Миной Конакович Лукович, которая является ведущим исследователем в лаборатории.
Работа исследователей частично финансировалась лабораторией искусственного интеллекта MIT-IBM Watson и корпорацией Wistron. Результаты были представлены в декабре на конференции и выставке SIGGRAPH по компьютерной графике и интерактивным технологиям в Азии, организованной Ассоциацией вычислительной техники.
Источник: news.mit.edu
