Студенты-архитекторы привносят в кухню новые формы взаимодействия человека и машины. 
Джейкоб Пейн (слева) и Айя Махмуд позируют со своим интерактивным кухонным помощником Kitchen Cosmo. Фото: Мария Иакобо 
Веб-камера Kitchen Cosmo одновременно сканирует имеющиеся ингредиенты, используя модель обработки визуального языка, для их идентификации и интерпретации. Фото предоставлено Design Intelligence Lab. 
Устройство позволяет пользователю вводить такую информацию, как пищевые предпочтения, уровень навыков, доступное время, настроение и размер порции. Фото предоставлено лабораторией Design Intelligence Lab.
Как искусственный интеллект может выйти за пределы экрана и стать чем-то, что мы можем физически потрогать и с чем можем взаимодействовать?
Этот вопрос лег в основу курса 4.043/4.044 (Интерактивный интеллект) в Массачусетском технологическом институте, посвященного разработке новой категории интерактивных объектов, управляемых искусственным интеллектом. Эти физические интерфейсы, известные как большие языковые объекты (LLO), расширяют возможности больших языковых моделей в реальном мире. Их поведение может быть целенаправленно сгенерировано для конкретных людей или приложений, а их взаимодействие может развиваться от простого к все более сложному, обеспечивая значимую поддержку как для начинающих, так и для опытных пользователей.
«Я пришел к выводу, что, несмотря на свою мощь, эти новые формы интеллекта по-прежнему в значительной степени не осведомлены о мире за пределами языка», — говорит Марсело Коэльо, доцент кафедры архитектуры Массачусетского технологического института, который уже несколько лет преподает в дизайн-студии и руководит Лабораторией дизайн-интеллекта. «Им не хватает понимания нашего физического окружения, телесных ощущений и социальных отношений в реальном времени, чтобы быть по-настоящему интеллектуальными. В отличие от них, LLO (Low-Low Intelligence) физически находятся в определенном месте и взаимодействуют в реальном времени со своей физической средой. Этот курс — попытка как восполнить этот пробел, так и разработать новый вид дизайнерской дисциплины для эпохи искусственного интеллекта».
Получив задание разработать интерактивное устройство, которое они хотели бы видеть в своей жизни, студенты Джейкоб Пейн и Айя Махмуд сосредоточились на кухне. Хотя оба любят готовить и печь, источником вдохновения для их дизайна послужил первый домашний компьютер: Honeywell 316 Kitchen Computer, выпущенный компанией Neiman Marcus в 1969 году. Его цена составляла 10 000 долларов, и нет никаких сведений о том, что он когда-либо продавался.
«Это была амбициозная, но непрактичная ранняя попытка создать домашний кухонный компьютер», — говорит Пейн, аспирант архитектурного факультета. «Это стало интересной исторической отсылкой к проекту».
«Мне нравится учиться готовить — особенно сейчас, в колледже, будучи студентом, — поэтому идея создания чего-то, что упростит приготовление пищи для тех, кто не имеет кулинарного опыта и просто хочет вкусно поесть и удовлетворить свои желания, стала для меня отличной отправной точкой», — говорит Махмуд, студент старшего курса, изучающий дизайн.
«Мы задумались о том, какие остатки продуктов хранятся в холодильнике или кладовой, и как искусственный интеллект может помочь вам найти новые креативные способы использования того, что вы в противном случае могли бы выбросить», — говорит Пейн.
Генеративная кухня
Студенты разработали своё устройство — Kitchen Cosmo — с инструкциями, позволяющими ему функционировать как «генератор рецептов». Одна из сложностей заключалась в том, чтобы заставить устройство LLM последовательно учитывать реальные параметры приготовления пищи, такие как нагрев, время или температура. Одна из проблем, которую они решили, заключалась в том, чтобы устройство распознавало вкусовые профили и специи, точно соответствующие региональным и культурным блюдам по всему миру, для поддержки более широкого спектра кухонь. В ходе устранения неполадок проводилась дегустация рецептов, сгенерированных Kitchen Cosmo. Не каждый из первых рецептов приводил к успешному результату.
«Было много мелочей, которые ИИ не очень хорошо понимал на концептуальном уровне», — говорит Махмуд. «Для приготовления великолепного блюда студенту магистратуры необходимо фундаментально понимать человеческие вкусовые предпочтения».
Они доработали свое устройство, чтобы учесть множество способов приготовления пищи. Это завтрак, обед, ужин или перекус? Насколько вы опытный повар? Сколько времени у вас есть на приготовление еды? Сколько порций вы приготовите? Также были запрограммированы диетические предпочтения, а также желаемое настроение или атмосфера. Вы испытываете ностальгию или праздничное настроение? Для этого есть специальный регулятор.
«Эти параметры были центральным элементом устройства, потому что нам было любопытно посмотреть, как LLM будет интерпретировать субъективные прилагательные в качестве входных данных и использовать их для преобразования типа получаемых нами рецептов», — говорит Пейн.
В отличие от большинства взаимодействий с ИИ, которые, как правило, незаметны, Пейн и Махмуд хотели, чтобы их устройство стало скорее «партнером» на кухне. Тактильный интерфейс был специально разработан для структурирования взаимодействия, предоставляя пользователям физический контроль над реакцией ИИ.
«Хотя я и раньше работал с электроникой и оборудованием, этот проект заставил меня интегрировать компоненты с такой точностью и доводкой, которые, как мне казалось, приближают меня к готовому к использованию устройству», — говорит Пейн о пройденном курсе.
Ретро и красный
После завершения работы над электронными компонентами студенты разработали серию моделей из картона, пока не остановились на окончательном варианте, который Пейн описывает как «ретро». Корпус был спроектирован в программе для 3D-моделирования и распечатан. В знак уважения к оригинальному компьютеру Honeywell они покрасили его в красный цвет.
Тонкое прямоугольное устройство высотой около 45 см, Kitchen Cosmo, оснащено веб-камерой, которая откидывается для сканирования ингредиентов, расположенных на столешнице. Оно преобразует их в рецепт, учитывающий распространенные специи и приправы, которые есть в большинстве домов. Встроенный термопринтер выдает распечатанный рецепт, который затем отрывается. Рецепты можно хранить в пластиковом контейнере на основании устройства.
Хотя Kitchen Cosmo и произвел скромное впечатление в дизайнерских журналах, у обоих студентов есть идеи относительно того, как они будут развивать будущие версии проекта.
Пейн хотел бы, чтобы система «использовала большую часть данных, которые у нас есть на кухне, и применяла ИИ в качестве посредника, предлагая советы о том, как улучшить то, что вы готовите в данный момент».
Махмуд работает над оптимизацией Kitchen Cosmo для своей диссертации. Однокурсники предложили улучшить его возможности. Одно из предложений — добавить инструкции для нескольких человек, которые позволят нескольким участникам выполнить необходимые действия для приготовления блюда. Другая идея — создать «режим обучения», в котором перед Kitchen Cosmo будет установлен кухонный инструмент, например, нож для чистки овощей, и приложение выдаст инструкции по его использованию. Махмуд также изучает историю пищевой науки.
«Мне бы хотелось лучше разобраться в том, как обучить искусственный интеллект полностью понимать особенности продуктов питания, чтобы он мог подбирать рецепты в соответствии с предпочтениями пользователя», — говорит она.
Начав обучение в MIT в качестве геолога, Махмуд, по ее словам, переключилась на дизайн, что стало для нее настоящим откровением. Каждый курс по дизайну был для нее вдохновляющим. Курс Коэльо стал первым, где она изучала дизайн с использованием искусственного интеллекта. Ссылаясь на часто упоминаемую аналогию «пить из пожарной части», Махмуд говорит, что этот курс помог ей определить свой путь в продуктовом дизайне.
«Впервые на этом занятии я почувствовала, что наконец-то пью столько, сколько могу, и при этом не чувствую себя подавленной. Я вижу себя занимающейся дизайном в долгосрочной перспективе, чего я раньше не думала сказать о технологиях».
Источник: news.mit.edu
