Процесс вычислительного проектирования в машиностроении часто начинается с проблемы или цели, за которой следует оценка литературы, ресурсов и систем, доступных для решения этой проблемы. Вместо этого Лаборатория проектных вычислений и цифровой инженерии (DeCoDE) в Массачусетском технологическом институте исследует границы возможного.
Работая с Лабораторией искусственного интеллекта Watson MIT-IBM, руководитель группы, помощник по развитию карьеры ABS профессор Фаез Ахмед и аспирант Амин Хейрани Нобари с факультета машиностроения объединяют методы машинного обучения и генеративного искусственного интеллекта, физическое моделирование и инженерные принципы для решать задачи проектирования и совершенствовать создание механических систем. Один из их проектов, Связиисследует способы соединения плоских стержней и соединений для отслеживания изогнутых путей. Здесь Ахмед и Нобари описывают свою недавнюю работу.
Вопрос: Как ваша команда рассматривает подход к вопросам машиностроения с точки зрения наблюдений?
Ахмед: Вопрос, над которым мы размышляли: как можно использовать генеративный ИИ в инженерных приложениях? Ключевой задачей здесь является обеспечение точности в генеративных моделях ИИ. Теперь, в конкретной работе, которую мы там изучали, мы используем идею контрастных подходов к обучению с самоконтролем, когда мы эффективно изучаем эти связи и кривые представления дизайна, или то, как дизайн выглядит и как он работает. .
Это очень тесно связано с идеей автоматического открытия: можем ли мы на самом деле открывать новые продукты с помощью алгоритмов ИИ? Еще один комментарий к более широкой картине: одна из ключевых идей, особенно в отношении связей, но в целом вокруг генеративного ИИ и больших языковых моделей — все это одно и то же семейство моделей, на которые мы смотрим, и точность действительно играет большую роль в все они. Итак, знания, которые мы получаем от этих типов моделей, в той или иной форме обучения, основанного на данных, с помощью инженерных симуляторов и совместного внедрения дизайна и производительности, потенциально могут быть перенесены и в другие инженерные области. То, что мы показываем, является доказательством концепции. Тогда люди смогут заняться проектированием кораблей и самолетов, решением задач точной генерации изображений и так далее.
В случае связей ваш дизайн выглядит как набор стержней и способов их соединения. То, как это работает, — это, по сути, путь, который они записывают по мере своего движения, и мы изучаем эти совместные представления. Итак, вот ваш основной ввод — кто-то придет и нарисует какой-то путь — и вы пытаетесь создать механизм, который сможет его отследить. Это позволяет нам решать проблему гораздо точнее и значительно быстрее, с меньшим количеством ошибок (более точным) в 28 раз и в 20 раз быстрее, чем предыдущие современные подходы.
Вопрос: Расскажите мне о методе связей и о его сравнении с другими аналогичными методами.
Нобари: Контрастное обучение происходит между механизмами, которые представлены в виде графов, поэтому, по сути, каждое соединение будет узлом в графе, и этот узел будет включать в себя некоторые функции. Особенностями являются положение, пространство и тип суставов, это могут быть фиксированные суставы или свободные суставы.
У нас есть архитектура, которая учитывает некоторые базовые вещи, когда дело доходит до описания кинематики механизма, но по сути это графовая нейронная сеть, которая вычисляет вложения для этих графов механизмов. Затем у нас есть другая модель, которая принимает в качестве входных данных эти кривые и создает для них вложение, и мы соединяем эти две разные модальности с помощью контрастного обучения.
Затем эта контрастирующая структура обучения, которую мы обучаем, используется для поиска новых механизмов, но, очевидно, мы также заботимся о точности. Помимо любых идентифицированных потенциальных механизмов, у нас также есть дополнительный этап оптимизации, на котором эти идентифицированные механизмы будут дополнительно оптимизированы, чтобы максимально приблизиться к этим целевым кривым.
Если вы правильно выполнили комбинаторную часть и достаточно близки к тому месту, где вам нужно находиться, чтобы получить имеющуюся целевую кривую, вы можете выполнить прямую оптимизацию на основе градиента и отрегулировать положение суставов, чтобы получить сверхточная производительность на нем. Это очень важный аспект работы.
Это примеры букв алфавита, но их очень сложно достичь традиционными методами. Другие методы, основанные на машинном обучении, часто даже не способны на подобные вещи, потому что они обучаются только на четырех или шести тактах, которые являются очень маленькими механизмами. Но нам удалось показать, что даже при относительно небольшом количестве соединений можно очень близко подойти к этим кривым.
До этого мы не знали, каковы пределы возможностей проектирования одного механизма связи. Это очень сложный вопрос. Ты действительно можешь написать букву М, верно? Никто никогда этого не делал, а механизм настолько сложен и настолько редок, что он находит иголку в стоге сена. Но с помощью этого метода мы показываем, что это возможно.
Мы рассмотрели возможность использования готовых генеративных моделей для графиков. Как правило, генеративные модели для графов очень сложно обучать, и они обычно не очень эффективны, особенно когда речь идет о смешивании непрерывных переменных, которые имеют очень высокую чувствительность к фактической кинематике механизма. В то же время у вас есть все эти разные способы комбинирования суставов и связей. Эти модели просто не могут эффективно генерировать.
Я думаю, сложность проблемы становится более очевидной, если посмотреть на то, как люди подходят к ней с помощью оптимизации. При оптимизации это становится смешанно-целочисленной нелинейной задачей. Используя некоторые простые двухуровневые оптимизации или даже упрощая задачу, они по сути создают аппроксимации всех функций, так что для решения проблемы можно использовать смешанно-целочисленное коническое программирование. Комбинаторное пространство в сочетании с непрерывным пространством настолько велико, что в принципе может достигать семи суставов. Дальше это становится крайне сложно, и создание одного механизма под одну конкретную цель занимает два дня. Если бы вы сделали это исчерпывающе, было бы очень сложно охватить все пространство дизайна. Здесь вы не можете просто использовать глубокое обучение, не пытаясь проявить немного больше ума в том, как это сделать.
Современные подходы, основанные на глубоком обучении, используют обучение с подкреплением. Они — учитывая целевую кривую — начинают строить эти механизмы более или менее случайным образом, по сути, используя подход оптимизации Монте-Карло. Мерой для этого является прямое сравнение кривой, которую отслеживает механизм, и целевых кривых, которые входят в модель, и мы показываем, что наша модель работает примерно в 28 раз лучше, чем эта. Для нашего подхода это 75 секунд, а для подхода, основанного на обучении с подкреплением, — 45 минут. Подход к оптимизации: вы запускаете его более 24 часов, и он не сходится.
Я думаю, что мы достигли точки, когда у нас есть очень надежное подтверждение концепции механизмов связи. Это достаточно сложная проблема, и мы видим, что традиционной оптимизации и традиционного глубокого обучения недостаточно.
Вопрос: Какова общая картина необходимости разработки таких методов, как связи, которые открывают будущее совместного проектирования человека и ИИ?
Ахмед: Самый очевидный из них — проектирование машин и механических систем, что мы уже показали. При этом я считаю, что ключевым вкладом этой работы является то, что мы изучаем дискретное и непрерывное пространство. Итак, если вы подумаете о существующих связях и о том, как они связаны друг с другом, это будет дискретное пространство. Либо вы связаны, либо не связаны: 0 и 1, но там, где находится каждый узел, — это непрерывное пространство, которое может меняться — вы можете находиться где угодно в пространстве. Обучение работе в этих дискретных и непрерывных пространствах является чрезвычайно сложной проблемой. Большая часть машинного обучения, которое мы видим, например, в компьютерном зрении, является только непрерывным, или язык в основном дискретен. Я думаю, что, демонстрируя эту дискретную и непрерывную систему, ключевая идея распространяется на многие инженерные приложения: от метаматериалов до сложных сетей, других типов структур и так далее.
Есть шаги, о которых мы думаем немедленно, и естественный вопрос касается более сложных механических систем и большего количества физики, например, вы начинаете добавлять различные формы упругого поведения. Затем вы также можете подумать о различных типах компонентов. Мы также думаем о том, как можно обеспечить точность в больших языковых моделях и перенести туда некоторые знания. Мы думаем о том, чтобы сделать эти модели генеративными. Прямо сейчас они в каком-то смысле извлекают механизмы и затем оптимизируют их из набора данных, в то время как генеративные модели будут генерировать эти методы. Мы также изучаем возможность сквозного обучения, при котором оптимизация не требуется.
Нобари: Есть несколько мест в машиностроении, где они используются, и есть очень распространенные применения систем для такого рода обратного кинематического синтеза, где это было бы полезно. Несколько из них, которые приходят на ум, относятся, например, к системам подвески автомобиля, где вам нужен определенный путь движения для всего механизма подвески. Обычно они моделируют это в 2D с помощью планировочных моделей всего механизма подвески.
Я думаю, что следующим шагом, который в конечном итоге будет очень полезным, будет демонстрация той же самой или аналогичной структуры для других сложных задач, включающих комбинаторные и непрерывные значения.
Эти проблемы включают в себя одну из вещей, которую я изучал: механизмы совместимости. Например, когда у вас есть механика непрерывных — вместо этих дискретных — жестких связей, у вас будет распределение материалов и движения, и одна часть материала деформирует остальную часть материала, чтобы дать вам движение другого типа.
Что касается совместимых механизмов, то они используются в множестве разных мест, иногда в прецизионных станках для механизмов крепления, где вы хотите, чтобы конкретная деталь удерживалась на месте, используя механизм, который ее фиксирует, который может делать это последовательно и с очень высокой точностью. высокая точность. Если бы вы могли автоматизировать многое из этого с помощью такой структуры, это было бы очень полезно.
Все это сложные проблемы, которые включают как комбинаторные переменные расчета, так и переменные непрерывного расчета. Я думаю, что мы очень близки к этому, и в конечном итоге это будет заключительный этап.
Эта работа частично поддерживалась лабораторией MIT-IBM Watson AI Lab.
