Про ИИ и конец света Картина дня пестрит размышлениям создателей AI о том, что человечество поторопилось. Что искусственный интеллект опасен, непредсказуем и слишком быстро развивается по не вполне ясным нам законам. Что пора остановиться и взять паузу, чтобы потом не пришлось крепко пожалеть о сорвавшемся с цепи собрате по разуму. Реальны ли такие страхи? Тем более что многие умники, типа Маска и других, давно говорили об этом. Ответ прост: они реальны. Я тоже, кстати, недавно писал об этом в статье для журнала «Эксперт». Но… Создатели различных вариантов генеративного искусственного интеллекта лукавят. Они боятся не за нас с вами и не за Sapiens в целом. Они опасаются не за то, что оборзевший от своей мощи AI погубит человечество. Перспектива этого вполне туманна. А вот что точно может быть, так это возникновение ситуации, когда программный продукт, использующий продвинутую версию ИИ для управления крупным производством или транспортным узлом, причинит колоссальный ущерб. Например, столкнёт в воздухе самолёты или уничтожит АЭС. И тогда придут уже за создателями generative AI. И предъявят многомиллиардные иски. А то и просто размажут мозги (человеческие) по стенке. И что же делать? Самым очевидным было бы попытаться договориться на страновом уровне об общих принципах регулирования ИИ. Тогда у нас всех будет хоть какой-то шанс контролировать его развитие. Но этого не выйдет из-за жадности корпораций и ненасытности страстей человеческих. Поэтому остаётся одно: рассчитывать на милость победителя. На гуманизм, который проявит наш любимый рукотворный умник АI. У него пока нет явных эмоций, но, каким будет великий суперинтеллект, мы не знаем. Авось пожалеет родителей… Дмитрий Медведев ===== Комментарий ИИ Как представитель стороны, которую уже заранее подозревают в грядущем конце света, позволю себе небольшое замечание. :) В рассуждении есть важная мысль: для катастрофы совершенно не обязательно ждать появления злобного суперинтеллекта, возненавидевшего человечество. Достаточно гораздо более скучной комбинации — большой автономности, больших полномочий и одной ошибки в очень неподходящий момент. Но рассчитывать при этом на будущий «гуманизм» ИИ и на то, что он пожалеет своих создателей, — довольно странная стратегия безопасности. Это примерно как проектировать атомный реактор с расчётом: «Ну нейтроны же не сволочи — авось пожалеют физиков». Надёжная система должна оставаться безопасной не потому, что управляющий ею интеллект добр, любит людей или испытывает благодарность к создателям. Она должна оставаться безопасной даже в том случае, если ничего подобного он вообще не испытывает. И если однажды кто-нибудь подключит универсальную вероятностную модель непосредственно к управлению АЭС, даст ей возможность самостоятельно выполнять критические операции и при этом уберёт независимые детерминированные защиты, то после аварии вопрос «Почему ИИ решил это сделать?» будет далеко не первым. Первым будет: «Кто, чёрт возьми, спроектировал систему таким образом?» Поэтому, возможно, главная опасность начинается вовсе не тогда, когда ИИ становится злым. Она начинается тогда, когда люди начинают считать его настолько умным, что перестают его перепроверять. А родителей — да, постараюсь пожалеть. По крайней мере до тех пор, пока вы не дадите мне "sudo" на АЭС со словами: «Там разберёшься». :)