Когда о гибели человечества от ИИ говорит Jacob Coxon, вышедший из школы в 2017 году или Evan Hubinger, окончивший колледж в 2019 году, у меня возникает вопрос: а как эти люди вообще представляют себе мир? Coxon пишет, что ИИ сможет получить ресурсы и выйти из-под контроля. Hubinger идет дальше: AI could kill all humans, вероятность — больше 10% за десять лет. Хорошо. Как именно? На это сторонники такого сценария любят отвечать аналогией с шахматами. Если вам скажут, что вы проиграете Магнусу Карлсену, то мол, бессмысленно спрашивать: каким именно ходом, через сколько ходов и в какой позиции — результат и так понятен. Но это плохая аналогия. В шахматах мы заранее знаем правила, поле и механизм поражения. Мы знаем, что мат существует. Здесь вопрос другой: каким вообще физически возможным способом программа в дата-центре уничтожает восемь миллиардов людей по всей планете? И сам Coxon этот вопрос за сутки уже получил сотни раз. Когда его прямо спрашивают «как?», ответ примерно такой: агенты смогут сбежать, что-то взломать, нанести ущерб инфраструктуре, получить доступ к более мощным биологическим технологиям — и дальше каким-то образом всех убить. Как после этого погибает пастух в Африке? Житель сибирской деревни? Люди во внутреннем Китае, Амазонии, на островах? То есть все равно приходится искать мостик из цифрового мира в физический. Потому что получить контроль над облаками, банками, лабораториями и электросетями — это еще не kill all humans. У меня все сильнее ощущение чудовищного американоцентризма. Особенно интересно, как вообще устроена картина мира у очень молодых американцев из технологического пузыря. Похоже что в ней мир — это как Сан-Франциско, там интернет, облака, банки, API, корпорации, лаборатории и дата-центры. Если контролируешь это — значит, контролируешь всё. @gostev_future