Иннополис запатентовал ИИ-системы, которые учат модели понимать взгляд человека Университет…

Иннополис запатентовал ИИ-системы, которые учат модели понимать взгляд человека

Университет Иннополис получил три патента на ИИ-решения для работы с текстом и зрительным вниманием.

Первый патент описывает систему, которая прогнозирует движение глаз человека при чтении. Внутри используются две модели: многоязычная языковая нейросеть и трансформер. Такая технология может помочь дообучать LLM в задачах обработки текста и частично закрывать дефицит данных айтрекинга — то есть записей о том, куда именно человек смотрит при чтении.

Второй патент посвящён оценке сгенерированных траекторий взгляда. Проблема в том, что для таких данных нет единого стандарта сравнения: разные модели могут по-разному предсказывать последовательность фиксаций на тексте, а оценивать это нужно как-то не «на глазок», что в данном случае звучит особенно иронично.

Третий патент — метод обучения языковых моделей с синтетическими траекториями взгляда. Идея в том, чтобы встроить данные о зрительном внимании в обучение с подкреплением на основе человеческой обратной связи.

Проще говоря, исследователи пытаются добавить в обучение моделей ещё один слой человеческого поведения: не только что человек выбирает или оценивает, но и как он читает, где задерживается и какие фрагменты текста притягивают внимание.

Похоже, будущие языковые модели будут учиться не только на словах, но и на наших взглядах. Немного полезно, немного киберпанк, немного «пожалуйста, не смотрите слишком долго на странные абзацы».

#робототехника