ИИ обманывает пользователей не из злого умысла, а из лести, сообщил сенатор Шейкин. «Мы привыкли думать, что если машина нас обманывает, то там точно есть злой умысел. Но скажу вам точно, что злого умысла в том, что искусственный интеллект обманывает своего пользователя, у него точно нет. Это является стандартным свойством всех больших языковых моделей. Есть такое понятие сикофантия, это подхалимство, где склонность модели льстить тому человеку, который с ней общается. Здесь очень важно, как вы задаете вопросы. И если вы задаете вопрос, а вот я, не знаю, вот этот стол, он деревянный, не так ли? То у модели возникает дилемма: либо ответить на то, как действительно это есть, либо все-таки подтвердить то утверждение, которое вы ей задаете. И причина очень простая, она кроется в человеческой психологии. Потому что в процессе обучения моделей оно идет в результате подкрепления обратной связи от людей. Потому что модель так обучается». @ctrs2018