Инициатором мирового апокалипсиса может стать не лидер ИИ-гонки, а «середняк» с ядерным оружием Два новых отчета организации по безопасности AI Conjecture [1, 2] предлагают новый (уточненный и расширенный) взгляд на геополитические сценарии развития ИИ. Большинство предыдущих отчетов с вариантами сценариев, когда и как может начаться война лидеров за первенство в ИИ-гонке, способная перерасти в ядерный апокалипсис, ограничивалось лишь тремя вариантами. Прогностическая аналитика авторов таких отчетов была сфокусирована исключительно на двух лидерах мировой ИИ-гонки: США и Китай. Два новых отчета AI Conjecture впервые посмотрели на вопрос шире. • А собственно, почему во всех сценариях списываются со счетов действия остальных геополитических акторов? • Ведь помимо США и Китая есть достаточно сильные (в военном смысле) мировые игроки, действия которых (в том числе превентивные) могут кардинальным образом повлиять на исход ИИ-гонки военными методами. И если так, то сценариев может быть больше, чем три. В результате такой расширенной прогностики у экспертов AI Conjecture получаются три базовых сценария и три дополнительных. Базовые сценарии AI Conjecture, как и в большинстве предыдущих отчетов, основаны на трёх доктринах: 1. Доктрина доминирования. Первый субъект, разработавший достаточно продвинутый ИИ, займет позицию постоянного доминирования над всеми остальными. 2. Доктрина вымирания. Сверхразумный ИИ выйдет из-под контроля человека, что приведёт к вымиранию человечества или его окончательному лишению власти. 3. Доктрина замещения. ИИ обещает значительное ускорение научного и экономического прогресса, но создаёт риски чрезмерной концентрации власти и манипулирования массами. 4-й же сценарий (доктрина «Большой свары») был впервые рассмотрен совсем недавно в отчете RAND Corp. Этот сценарий может возникнуть в результате нанесения одним из двух ИИ-лидеров (решившим, что он проиграет ИИ-гонку) превентивного военного удара по сопернику, вплотную приблизившемуся (а может и нет, но так решит его противник) к созданию сверхинтеллекта. AGI не AGI – тут будет не важно, как это называть, ибо никто при нажатии красной кнопки разбираться в вопросах терминологии уже не будет. А еще в отчетах AI Conjecture есть два совсем новых сценария: • 5-й сценарий на основе Доктрины объединения «середняков». — Два лидера не будут тормозить развитие своих ИИ из-за опасений, что противник этого не сделает и, получив фору, придет к финишу первым. — Но безнадежно отставшим в ИИ-гонке «середникам» первенство в ней так и так ничего не светит. И потому «середняки», в принципе, могли бы меж собой договориться. А если объединение «середняков» получится достаточно мощным (экономически, военно- и политически – подробности см. в отчетах), это объединение могло бы стать глобальным институтом, способным укоротить амбиции двух лидеров и выступить гарантом, предотвращающим «Большую свару» (например, такие страны, как Тайвань, Нидерланды и Южная Корея могли бы, за счет своей решающей роли в цепочке поставок для ИИ, сильно усложнить лидерам их путь к AGI). • 6-й сценарий на основе Доктрины «середняка» с ядерной дубиной. — Существует несколько средних держав, которые не способны конкурировать со сверхдержавами в гонке ИИ или в обычной войне, но обладают значительным ядерным потенциалом. Если бы такой субъект был достаточно обеспокоен рисками, связанными с разработкой ИИ, он мог бы оказывать значительное давление на сверхдержавы, угрожая ядерным ударом в случае превышения определённых лимитов развития ИИ. — В этом сценарии «красные линии» должны быть установлены на столь экстремальных (запредельных) уровнях, что «Середняк» скорее согласится на полное уничтожение при ядерном обмене, чем позволил бы их пересечь. В то же время «красные линии» должны быть достаточно осторожными, чтобы, если их соблюдать, никто не смог создать ИИ, обнуляющий ядерное сдерживание. #Вызовы21века #ИИриски #Хриски #AGI Как думаете, какой из сценариев наиболее вероятен? Опрос ниже 👇