LegalTech

🇨🇳Китайские исследователи заявили, что нашли причину галлюцинаций в нейросетях. Китайские исследователи опубликовали статью, в которой указали, что возникновение галлюцинаций можно надежно предсказывать с наличием в нейросетях определенной группы нейронов (Н-нейроны). Несмотря на то, что такие нейроны составляют не более 0.1% от общего числа, именно с ними связано чрезмерно уступчивое поведение нейросети. Т.е. когда модель не знает ответа, она пытается угодить пользователю. Исследование показало, что ИИ буквально вынужден врать из-за механизма «сверх-покладистости» (over-compliance), заложенного при обучении: он боится промолчать больше, чем ошибиться, в результате модель начинает выдумывать ответы. При этом если указанные нейроны удалить, пропадет гибкость и модель начать отвечать «не знаю» на любые сложные вопросы.