ИИ научили сомневаться: MIT снижает «самоуверенные ошибки» Исследователи из MIT…

ИИ научили сомневаться: MIT снижает «самоуверенные ошибки»

Исследователи из MIT предложили способ, который заставляет модели честно признавать неуверенность.

Проблема:

— ИИ часто отвечает уверенно, даже когда ошибается
— классическое обучение награждает за результат, а не за честность

Что сделали:

— ввели штраф за разницу между
— заявленной уверенностью
— и реальной точностью

Результат:

— модели начинают говорить «не уверен»
— ошибка калибровки упала на ~90%

Вывод:

раньше ИИ учился выглядеть правым,
теперь — понимать, когда он может ошибаться.

Это шаг от «всезнающего ассистента» к инструменту, которому можно доверять именно потому, что он умеет сомневаться.