ИИ учится переводить речь на язык жестов — и обратно…

ИИ учится переводить речь на язык жестов — и обратно

Китайский стартап Limitless Mind разрабатывает систему, которая позволит переводить живую речь в язык жестов и обратно. Лёгкая модель предназначена для умных очков и смартфонов, чтобы сделать общение между глухими и слышащими естественным и двусторонним. Проект пока на стадии прототипа и ищет инвесторов.

Исследователи собрали 12 000 размеченных видео с различными «диалектами» жестов, включая 3D-координаты движений рук, тела и мимики. На этих данных модель обучили распознавать жесты с видео и генерировать ответ в виде текста или речи, а также создавать 3D-аватара, который демонстрирует нужные жесты.

Преимущество такого подхода в том, что жестовый язык для многих — родной, тогда как чтение текста даётся не всем. Но его сложность в огромном количестве региональных различий и нюансах движений.

В разработке подобных систем уже участвуют и крупные компании:
— Baidu и Alibaba внедряют облачные решения с цифровыми аватарами;
— Google DeepMind представила модель SignGemma для американского языка жестов.

Если проект Limitless Mind выйдет на рынок, он может стать реальным мостом между мирами речи и жестов.