ИИ учат сомневаться: MIT снижает «самоуверенные ошибки» на 90% Исследователи…

ИИ учат сомневаться: MIT снижает «самоуверенные ошибки» на 90%

Исследователи из MIT предложили метод, который заставляет модели предупреждать о своей неуверенности.

Проблема:

— ИИ часто отвечает уверенно, даже когда ошибается
— классическое обучение поощряет только правильный результат, а не честность

Что изменили:

— ввели штраф за разрыв между
— заявленной уверенностью
— и реальной точностью

Результат:

— модели начинают говорить «не уверен»
— ошибка калибровки снизилась на ~90%

Смысл:

раньше ИИ учился выглядеть правым,
теперь — оценивать собственную правоту.

Это сдвиг от «всезнайки» к инструменту, который умеет признавать границы своих знаний.