Более эффективный способ преобразования 2D-проектов в 3D-модели для быстрого прототипирования.

Исследователи разработали автоматизированную систему, которая помогает моделям ИИ создавать программы САПР более точно и эффективно. Телефон: 617-253-2709 MIT News Office Подпись : «GIFT» — это новая система, которая обучает модели генеративного ИИ, использующие машинное зрение и язык, создавать точные программы автоматизированного проектирования, которые можно использовать для моделирования и тестирования 3D-объектов. Автор изображения : Кристин Данилофф, MIT; iStock «GIFT» — это новая система, которая обучает модели генеративного искусственного интеллекта, использующие машинное зрение и язык, создавать точные программы автоматизированного проектирования, которые можно использовать для моделирования и тестирования 3D-объектов. Фото: Кристин Данилофф, MIT; iStock

Инженеры часто используют модели, созданные на основе визуального языка, для разработки новых конструкций, например, компонентов самолетов или автомобилей. Для моделирования поведения этих компонентов в реальных условиях они используют проверенное программное обеспечение для автоматизированного проектирования (САПР), которое генерирует 3D-модели этих конструкций, которые затем подвергаются виртуальным краш-тестам или испытаниям на прочность.

Исследователи из Массачусетского технологического института и других учреждений разработали систему, которая может научить модель визуального и языкового восприятия автоматически преобразовывать 2D-проекты в программы САПР, которые намного точнее и функциональнее по сравнению с другими подходами, при этом используя лишь малую часть вычислительных ресурсов.

Благодаря повышению производительности и эффективности генерации CAD-моделей на основе ИИ, эта технология может оптимизировать процесс быстрого прототипирования и снизить затраты. Она также может помочь инженерам выявлять выгодные проектные решения, которые они могли бы упустить из виду.

Система генерирует новые данные на основе возможностей модели, пытаясь преобразовать двухмерное изображение в программу САПР. Фреймворк исправляет ошибки модели и включает их в набор данных вместе с успешными решениями.

Эти данные используются для обучения модели исправлению конкретных ошибок и решению сложных задач, с которыми она не смогла бы справиться самостоятельно.

«Мы хотим, чтобы инженеры могли направлять нашу систему на неэффективную CAD-модель, устанавливать вычислительный бюджет и позволять системе брать на себя дальнейшую работу, превращая ошибки модели в более качественные обучающие данные», — говорит ведущий автор Джорджо Джанноне, научный сотрудник лаборатории проектирования, вычислений и цифровой инженерии (DeCoDE) в Массачусетском технологическом институте и ведущий научный сотрудник группы инноваций в области искусственного интеллекта в Red Hat.

Вместе с ним в работе над статьей приняли участие Анна Клэр Дорис, аспирантка факультета машиностроения Массачусетского технологического института (MIT); Амин Хейрани Нобари, научный сотрудник MIT; Кай Сюй из RedHat; а также соавторы Акаш Шривастава, директор Core AI в IBM и главный исследователь в вычислительной исследовательской лаборатории MIT-IBM; и Фаэз Ахмед, доцент кафедры машиностроения MIT, руководитель лаборатории DeCoDE и главный исследователь в вычислительной исследовательской лаборатории MIT-IBM. Результаты исследования были недавно представлены на Международной конференции по машинному обучению.

«Практически каждый окружающий нас физический продукт, от самолетов до бытовой техники, начинает свою жизнь с CAD-модели. Команды в промышленности стремятся к использованию ИИ, который мог бы ускорить создание этих проектов, но современные модели часто имеют простые формы, непригодные для практического применения. Меня в этой работе привлекает то, что она дает многим моделям, преобразуемым из изображений в CAD-код, возможность самосовершенствоваться, обучаясь на собственных ошибках, а не ожидая получения большего количества данных, созданных человеком, — и это приближает надежные инструменты проектирования на основе ИИ к повседневной инженерной практике», — говорит Ахмед.

Данные, учитывающие модель

Исследователи работают над созданием моделей визуального и языкового восприятия (VLM) для генерации CAD-моделей. Эти VLM принимают 2D-изображение и некоторый описательный текст и выдают код на языке Python, который может быть выполнен в программе CAD для генерации 3D-модели физического объекта.

Они изучили проблемы, связанные с использованием существующих виртуальных моделирующих систем (VLM) для этой задачи, и определили, что основным узким местом, ограничивающим их возможности, является отсутствие разнообразных высококачественных наборов данных САПР для их обучения.

Чтобы исправить это, они попытались создать новые данные, чтобы научить модель выполнять генерацию САПР, используя процесс, известный как расширение данных.

При дополнении данных ученые обычно создают новые данные, случайным образом изменяя существующие данные для генерации большего количества образцов, часто путем корректировки цвета, размера и формы объектов на изображениях.

Вместо этого исследователи из Массачусетского технологического института разработали систему расширения данных под названием GIFT (что расшифровывается как Geometric Inference Feedback Tuning — настройка обратной связи геометрического вывода), которая генерирует данные, предназначенные для повышения производительности одной виртуальной линейной модели (VLM) для конкретной задачи.

GIFT, проводя тестирование модели, формирует понимание её сильных и слабых сторон. Затем, используя эти знания, генерируются данные, которые могут улучшить производительность модели в решении задач генерации CAD-моделей, с которыми она испытывает трудности.

«Мы хотим получить расширение данных, основанное на самой модели», — говорит Джанноне.

Учимся на ошибках

Для этого GIFT запрашивает у модели генерацию кода, который решает задачу создания CAD-модели несколько раз параллельно. Программа проверяет правильность этих предположений, чтобы понять, насколько хорошо модель может решить эту задачу.

«Для модели генерация кода запроса САПР, который был бы почти правильным, не представляет особой сложности, но генерация кода, который был бы идеально правильным и мог быть выполнен, гораздо сложнее для стандартной виртуальной производственной модели», — говорит Джанноне.

Для почти верных предположений GIFT корректирует их, превращая в успешные решения. Эти «почти верные» и успешные решения сохраняются в новом наборе данных, который может научить модель преодолевать проблемы, обычно ставящие её в тупик.

«Если мы проверим модель 10 раз, и она выдаст 10 правильных ответов на одну и ту же задачу, то ей практически нечему учиться. Нас интересуют промежуточные случаи, когда модель может решить задачу лишь в 50% случаев», — говорит он.

Использование этих промежуточных случаев позволяет GIFT создавать дополнения к данным, которые учитывают как особенности модели, так и особенности задачи. Кроме того, за счет включения нескольких правильных решений одной и той же проблемы новые данные расширяют общие знания модели о генерации кода САПР.

Эта автоматизированная система не требует вмешательства человека для исправления ошибок модели.

GIFT создает аугментации данных на основе предварительно обученной модели VLM, используя процесс, известный как масштабирование времени вывода. Этот процесс позволяет статической модели, которая уже была обучена, генерировать лучшие результаты без высоких вычислительных затрат на переобучение всей модели.

Используя масштабирование времени выполнения, пользователь может определить, какой объем вычислений он хочет использовать для GIFT, адаптируя его к своим временным и бюджетным ограничениям.

GIFT превзошёл несколько конкурирующих методов, создав более точные программы САПР, используя при этом всего около 20 процентов вычислительных ресурсов. Модели САПР, созданные с помощью VLM с использованием GIFT, лучше соответствовали формам эталонных моделей.

«При разработке GIFT мы начали с геометрии, потому что в инженерных задачах, если геометрия трехмерной фигуры неверна, то и все остальное будет неверным, но есть и много других аспектов, которые необходимо учитывать», — говорит Джанноне.

В будущем исследователи планируют расширить возможности GIFT, чтобы эта система могла обучать модели генерации САПР-программ, улучшающих производительность и технологичность 3D-моделей. Они также хотят применять систему к более крупным моделям и более разнообразным задачам генерации САПР.

Данное исследование было частично профинансировано вычислительной исследовательской лабораторией MIT-IBM.

Источник: news.mit.edu