Мультимодальные языковые модели анализируют рентгеновские снимки, распознают объекты на дорогах для беспилотников и разбирают спортивную статистику в реальном времени. Они обрабатывают текст, изображения и видео одновременно, превращая сложные визуальные данные в точные выводы. Но недавнее исследование выявило конфузную слабость: эти же модели систематически проваливаются на задаче, с которой справится любой школьник — определить время по стрелочным часам. Причём речь не о редких ошибках, а о полном провале всех четырёх протестированных моделей.
Эксперимент: 43 000 изображений часов
Команда исследователей из Мадридского политехнического университета, Миланского политехнического университета и Вальядолидского университета создала датасет из более чем 43 000 синтетических изображений аналоговых часов. Четыре разные мультимодальные модели тестировали на способность правильно называть время.
Результат оказался неутешительным: все модели изначально провалились. Исследователи попытались исправить ситуацию, дообучив модели на дополнительных 5000 изображениях. Точность временно выросла — но только на похожих данных. Как только моделям показали совершенно новую коллекцию изображений часов, точность снова снизилась.
Это классическая проблема ИИ: модели отлично справляются с привычными данными, но буксуют на новых сценариях. Им не хватает способности к обобщению.
Тест Дали для ИИ
Исследователи решили копнуть глубже. Они создали серию экспериментов с искажёнными часами — вроде тех, что нарисовал Сальвадор Дали в «Постоянстве памяти». Ещё одна серия тестов включала часы с изменёнными стрелками: например, со стрелками на концах или необычной формы.
Люди легко читают время даже на деформированных циферблатах. Модели — нет. Они путаются в определении пространственной ориентации стрелок. Но хуже всего им даётся распознавание стрелок нестандартного вида — тех, которых не было в тренировочных данных.
Эффект домино
Оказалось, что чтение времени — это многоступенчатая задача: сначала нужно распознать стрелки, затем определить их направление и угол относительно цифр, и только потом вычислить время. Если модель ошибается на первом этапе, это запускает каскад ошибок.
На самом деле определить время по часам не так просто, как кажется», — поясняют специалисты. Нужно идентифицировать стрелки, определить их ориентацию и объединить эти наблюдения, чтобы вывести правильное время. Модели не справляются с одновременной обработкой всех этих изменений.
Почему это важно
Неспособность определять время может показаться забавной мелочью. Но исследователи подчёркивают: в реальных задачах — медицинской диагностике, системах автопилотов — такие «мелкие» провалы в визуальном анализе могут иметь критические последствия.
Значит, останавливаться на достигнутом нельзя. Необходимо обширное тестирование на максимально разнообразных сценариях, чтобы модели оставались надёжными в реальных условиях.
Смогут ли ИИ-модели в будущем научиться точно читать аналоговые часы? Как иронично заметили сами исследователи в конце статьи: только время покажет.
Следите за IT‑миром вместе с нами! Ваш Cloud4Y. Читайте нас здесь или в Telegram‑канале!
Источник: habr.com
