Учёные из MIT заставили ИИ ПРЕДУПРЕЖДАТЬ о галлюцинациях — в этом помог новый метод обучения. Текущие модели часто демонстрируют избыточную уверенность при совершении ошибок, так как стандартные алгоритмы поощряют их только за правильный итоговый результат. Новая система штрафует модель за разрыв между заявленной уверенностью и фактической точностью. В результате нейросеть обучается сообщать о сомнениях. В ходе экспериментов ошибка калибровки уверенности снизилась на 90%. Учёные установили, что обычное обучение усиливает самонадеянность ИИ, а предложенный подход устраняет этот дефект. Неужели ИИ теперь сможет сказать «Я не знаю»? 😶