Ричард Фейнман обсуждал проблемы ИИ ещё в 1985 году. И сегодня это звучит удивительно знакомо В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей? Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже. Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу. Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему. Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной? https://www.youtube.com/watch?v=ipRvjS7q1DI