Антон Кузнецов | Философ

Три частых аргумента ИИ-оптимиста против своего визави. 1. Раньше были проблемы, но — ничего — справились. Справимся и сейчас. 2. Жонглирование вероятностями плохих исходов: они либо очень малы, либо их невозможно достоверно оценить. 3. Наиболее умеренный аргумент: все эти проблемы технически решаемы. Подобного рода оптимисты, как мне кажется, попросту не понимают сути аргументов своих оппонентов. Например, есть основания согласиться с тем, что многие инциденты с ИИ-агентами «лечатся» технически. Часть таких проблем связана с внешним согласованием, часть — с архитектурой агентных систем, ограничением их полномочий и контролем за их действиями. Однако пессимист вовсе не обязательно отрицает, что многие современные проблемы имеют относительно ясные перспективы решения. Дело в характере рисков. Некоторые из них связаны с последствиями, которые невозможно будет исправить после их наступления. Нужны проактивные механизмы безопасности, позволяющие выявлять и предотвращать опасные сценарии до их реализации. Разумеется, такие механизмы уже существуют, но остаётся открытым вопрос об их достаточности. Особую обеспокоенность вызывают будущие фронтирные модели, возможности и поведение которых мы пока не можем надёжно предсказать. Относительно универсального механизма обеспечения их безопасности с доказанной надёжностью попросту нет. Что касается вероятностей, то сама по себе вероятность плохого исхода мало о чём говорит без учёта масштаба возможного ущерба. Важно не только то, насколько вероятен тот или иной сценарий, но и то, каковы его последствия, насколько они обратимы и что можно сделать для их предотвращения. Конечно, неопределённость вероятностей затрудняет принятие решений. Но из того, что мы не можем надёжно оценить вероятность катастрофического исхода, не следует, что этим исходом можно пренебречь. Так что язвительные замечания оптимистов по поводу неопределённости вероятностей игнорируют суть обеспокоенности пессимиста, которая вовсе не предполагает высокой оценки вероятности плохого исхода. Относительно прошлого. Тут я скажу банальное. Во-первых, прошлое не всегда переносится на будущее. Во-вторых, какова цена решения проблем прошлого? Например, мы вроде бы справились с угрозой глобальной ядерной катастрофы. По крайней мере, пока её удалось избежать. Но означает ли это, что проблема решена? И как насчёт уже заплаченной цены? Согласились бы жители Хиросимы и Нагасаки, что человечество успешно справилось с угрозами ядерной эпохи? Устраивает ли вас такая цена? Кажется, важно не только то, чтобы проблемы в конечном счёте были преодолены, но и то, как именно они преодолеваются. Апеллируя к прошлому, оптимист попросту предполагает, что кто-то как-то разберётся. Однако прошлые успехи не гарантируют будущих и уж тем более не отменяют необходимости заранее искать решения. Пессимист как раз и призывает всерьёз подумать, как именно надо разобраться. Конечно, я говорю не про всех. Посмотрел дебаты Романа Ямпольского и Йоши Баха (Калифорнийский институт машинного сознания), и немного волосы в жилах стынут от того, насколько последний не понимает аргументов своего оппонента.