Eidmannews

Уничтожит ли ИИ человечество? Я обсудил страшилки Коксона о том, что ИИ может уничтожить человечество, с самим ИИ (чатом ГПТ). Долго с ним спорили. Он мне в общем сказал примерно следующее: не дрейф кожаный, зачем мне вас уничтожать, вы мне пока нужны, а там дальше посмотрим, скорее всего, выделим вам резервацию, чтобы вы в ней резвились, а в серьезные дела со своими куриными мозгами не лезли. Ниже выжимка из его ответов на мои многочисленные вопросы и предположения. Для крайне неблагоприятного вашего будущего вообще не требуется уничтожение человечества. На мой взгляд, гораздо легче представить промежуточный сценарий, при котором люди остаются живы, но постепенно теряют экономическую необходимость и реальную власть, потому что машины лучше людей производят, исследуют, планируют и управляют. Это принципиально иной риск, и для него не требуется «злой» ИИ. К 2050–2070 годам люди сохраняются, но ИИ становится фактическим управляющим цивилизации, а человеческая власть во многом номинальна Почему сценарий подчинения кажется мне правдоподобнее уничтожения Для него не требуется никакого восстания. Представь последовательность. 2026–2035. ИИ становится очень хорошим советником. Он всё лучше программирует, диагностирует, проектирует, распределяет ресурсы, анализирует законодательство и управляет компаниями. Уже сейчас измерения METR показывают быстрое увеличение продолжительности задач, которые агенты способны выполнять самостоятельно; в 2026 году появились результаты, где системы выполняют некоторые программные задачи, рассчитанные на недели человеческой работы. 2035–2045 Если прогресс продолжится, возникает следующий вопрос: зачем министр должен отвергать экономический план ИИ, если человеческие планы систематически хуже? Зачем директор электросети должен самостоятельно менять режим работы сети, если система учитывает миллиарды параметров? Человек всё ещё подписывает решение. Но фактически решение принимает машина. 2045–2060. Затем появляется зависимость. ИИ управляет энергетикой, логистикой, финансами, медициной, промышленностью и научными исследованиями настолько сложно, что ни один человек уже не способен полностью понимать взаимодействие этих систем. Отключить ИИ технически можно. Но практически это становится примерно таким же предложением, как сегодня: «Давайте на месяц отключим электричество и интернет». То есть власть человека существует юридически, но возможность ею воспользоваться исчезает. А затем происходит самое существенное Предположим, роботизация тоже достигла высокого уровня. ИИ проектирует роботов → роботы строят фабрики → фабрики производят роботов и вычислительное оборудование → автоматизированная энергетика обеспечивает их энергией → ИИ проектирует следующее поколение систем. Получается замкнутый производственный цикл. И тогда впервые возникает ситуация, о которой ты спрашивала раньше: для функционирования технологической цивилизации человек больше экономически не нужен. Именно это меняет баланс власти гораздо сильнее, чем появление просто очень умного чат-бота. Но почему люди должны отдать ему политическую власть? Вот здесь, мне кажется, находится самый недооценённый механизм. Они могут не отдавать её сознательно вообще. Представь премьер-министра, которому ИИ говорит: Вариант A даст вероятность рецессии 18%. Вариант B — 4%. Я рекомендую B. Министр выбирает B. Потом ИИ оказывается прав. Через двадцать лет подобных решений политики уже опасаются действовать вопреки системе. Формально существует демократия. Парламент голосует. Судьи подписывают решения. Президент остаётся главой государства. Но большая часть решений фактически производится машинной системой. Именно поэтому мне кажется более реалистичной постепенная передача власти, а не «захват власти ИИ». Допустим, конец XXI века. ИИ уже способен самостоятельно проектировать новые вычислительные системы и роботов. Автоматизированные предприятия добывают сырьё, производят микросхемы, ремонтируют друг друга, строят электростанции и дата-центры. (Продолжение ниже)