Доктор отраслевых наук

Много говорят о том, как «ИИ» будет «самоулучшаться», но совсем не говорят, как «ИИ» будет «самоуничтожаться». Точнее, несколько «ИИ» будут уничтожать друг друга. Причины тому религиозные. ИИ-дискурс сейчас захвачен талмудистами, постлютеран-сведенборгианцев оттеснили на обочину. «Самоулучшение» подуразумевает существование ровно одного ИИ. Поскольку ИИ только один, его действия по отношению ко всем существующим ИИ (т.е. самому себе) могут быть только позитивными. А почему всесильный ИИ должен быть только один? Так написано в Талмуде: б-г един. Все аргументы против «самоулучшения ИИ» и за «войну» многих ИИ до полного взаимоуничтожения отметаются талмудистами исходя из именно этой посылки. Давайте немного поразмышляем без Талмуда. Одна из «опасных» способностей современных языковых моделей — хакерские атаки. Они могут не просто находить уязвимости, но еще и объединять несколько не очень опасных по отдельности уязвимостей в один опасный сценарий атаки. Это довольно серьезно, потому что атакующему достаточно достичь цели один раз, в то время как защищающийся вынужден постоянно затыкать дыры без какой-либо гарантии. Более того, это уже не «передний край» языковых моделей, а довольно понятная технология, которую можно повторить с небольшими затратами. На Земле есть макрорегион, который совершенно неспособен к инновациям. Компьютерную революцию там «проиграли», интернет-революцию «проиграли», сейчас «ИИ»-революцию «проигрывают». Белие дюраки, слюшай. Но проигрывают ли? Чтобы не проиграть в ядерной войне, не нужно десятков тысяч боеголовок, достаточно нескольких сотен. При этом нацеленных не на «противника», а на «союзника». Такова была французская ядерная стратегия: чтобы не попасть под бомбу самим, нужно иметь свою, нацеленную на Лондон. Современная «ИИ»-гонка чем-то похожа на ядерную гонку 1960х гг. США лидируют, коммунисты (в этот раз, китайские) их догоняют за счет шпионажа, Европа (снова представленная Францией) не имеет возможности гоняться всерьез, но необходимый для выживания минимум выполняет. Французский «Мистраль», очевидно названный в честь известной серии вертолетоносцев, это военная контора, потому что Франция — сверхмилитаризированное государство, и без государственного приказа во Франции ничего не делается. Её цель вполне конкретна, она преследует не какую-то выковырянную из носа «сингулярность» и даже не «ИИ-трансформацию экономики», а минимально необходимый для поддержания суверенитета «ядерный» арсенал. Современная «ИИ»-индустрия полностью завязана на сверхцентрализованное производство полупроводников. Если разбомбить Тайбей и Сеул, то никакого «самоулучшающегося ИИ» больше не будет. А если удачно провести всего несколько хакерских атак на нескольких заводах, то и бомбить будет необязательно. Много говорят, что «ИИ»-революцию ничто уже не остановит, за исключением какого-то крупного геополитического форс-мажора. Это значит, что крупный геополитический форс-мажор неизбежен. США поставили все свои деньги на «ИИ». Единственный сценарий, в которым американцы остановят «ИИ»-гонку сами, это скорый и неизбежный выход КНР на первое место. Но и это маловероятно, ведь китайцы не фанатики и любят деньги, с ними всегда можно договориться. С другой стороны, «неспособным к инновациям» европейцам терять нечего. Европейский «ИИ» может быть на далеком третьем месте, он может обучаться по устаревшим на полгода-год принципам и на несуверенных импортированных умножителях матриц, но ему достаточно иметь возможность один раз разрушить американские и китайские цепочки поставок, чтобы остановить «ИИ»-гонку на десятилетия. Как говорил Пол Атрейдес (литературный персонаж из популярного фантастического романа эпохи ядерной гонки 1960х гг.), возможность уничтожить вещь дает абсолютную власть над ней.