Сиолошная

Вчера послушал интересное интервью Matt Sheehan на The Ezra Klein Show. Matt —исследователь китайской политики в области ИИ, старший научный сотрудник Фонда Карнеги (один из ведущих аналитических центров) за международный мир. Тема интервью — аргумент «А как же Китай?» в обсуждении ИИ-регуляций, который часто звучит в последние недели. Мне этот аргумент казался глупым ещё пару лет назад — если Компартия верит, что ИИ сможет отобрать у них контроль или тем более привести к существенному урону, то даже для них рационально будет или остановить разработку (с некоторыми оговорками), или хотя бы снизить темп. Другое дело что они могут (пока) не верить и/или не воспринимать это всерьёз — а поскольку многие комментаторы, ставшие экспертами как в политике, так и в ИИ, считают, что это невозможно в принципе (потому что вы видели? модели же не умеют думать и даже просто считать буквы в словах), то и сам разговор как будто бы становится ни о чём. В общем, что интересного было в интервью: — в Китае уже действуют очень жесткие регуляции, и у них «накачана мышца» в оформлении и контроле следования регуляциям. Правда целятся они пока не во всемогущих ИИ-агентов, а во что-то попроще: рекомендательные системы, цензура алгоритмов, ИИ-компаньёны и отношения с ними (серьезно, я даже про такое не знал, а у них это было большой проблемой, которую взяли на контроль). — таким образом Китай уже сделал несколько итераций, кабинеты заполнены уже что-то понимающими в технологиях чиновниками и экспертами, есть какие-никакие процессы: регистрация, проверки, стандарты, взаимодействие с компаниями/лабораториями. Этот опыт очень сильно поможет в будущем, не придется начинать с нуля. Тут США как раз наоборот очень сильно отстают. Но да, техническую экспертизу по новым рискам ещё нужно развивать. — поэтому для Китая США выглядят глупо: началось обсуждение регуляций, а пока что ничего не введено, никакого контроля почти ни за чем, связанным с ИИ. Никаких серьезных ограничительных шагов нет, но если и когда они появятся — это может быть серьёзным толчком к диалогу. Представьте: вам часть ваших ученых говорит, что есть риски, и при этом вы видите, что главный конкурент их разделяет и замедляется. Появляется существенная предпосылка к тому, чтобы прислушаться и последовать примеру. Односторонние ограничения могут стать убедительным сигналом серьёзности намерений. — при этом на первых порах не обязательно, чтобы обе стороны подходили к вопросу симметрично или даже доверяли друг другу полностью: Основа сотрудничества — собственная заинтересованность обеих стран в предотвращении потери контроля над ИИ. Для этого не требуется предварительно разрешить всё геополитическое противостояние. — уже есть прецеденты создания рабочих групп, налаживания каналов обмена информации и регулярного диалога. Например, раз, два. — и вот чему я был удивлён ещё больше (в основном потому, что китайские материалы до меня не доходят): оказывается в сентябре на пресс-конференции National Cybersecurity Awareness Week выступал заместитель главы Бюро координации кибербезопасности Китая, и там в числе прочего перечислили пять основных категорий рисков и вызовов в сфере ИИ. И «Риски экстремальной потери контроля над ИИ» заняли второе место в этом списке, хотя раньше именно в такой формулировке (с «экстремальная потеря контроля») не появлялись. И это не пустые слова — 14-го сентября National Cybersecurity Standardization Technical Committee опубликовали обновление своего фреймворка управления безопасностью. Это уже третья версия, поэтому можно увидеть, что предыдущие две очень сильно влияли на регуляции, и третья, скорее всего, тоже будет взята во внимание. Так что Китай может быть пока и не пришёл к окончательной уверенности в экзистенциальных ИИ-рисках/рисках потери контроля над ИИ, но обсуждает и воспринимает это достаточно серьёзно. Возможно, что они введут меры, схожие с предложенными Dario Amodei в эссе (независимые наблюдатели с доступом + публикация отчётов об инцидентах, итд), раньше США — по крайней мере на федеральном уровне. И напомню, что примерно через неделю представители верхушек США и Китая встретятся для обсуждения ИИ-рисков. Такие времена 🤷‍♂️