Позитивная мотивация Явно не мой конёк И мы все умрём Пока Сэм Альтман объявляет о приближении AGI ради хайпа, всё больше разработчиков воспринимают его обещания с пугающей серьёзностью. Исследователь Джейкоб Коксон уволился из Anthropic и заодно вообще ушёл из ИИ-индустрии, потому что не хочет участвовать в создании сверхразума, способного уничтожить человечество. Коксон не был профессиональным алармистом из отдела безопасности. Последние три года он занимался предобучением моделей в OpenAI и Anthropic, в том числе работал над GPT-4o. В Anthropic он перешёл лишь в июле, продержался около двух месяцев и пришёл к выводу, что обе компании «несутся прямо к самоулучшающемуся сверхразуму и играют нашими жизнями». По его словам, будущие системы смогут взламывать практически что угодно, за одну ночь переворачивать целые научные области и самостоятельно добывать власть и ресурсы. При этом многие разработчики всерьёз допускают, что ИИ может убить всех людей уже до конца десятилетия. Публично руководители лабораторий смягчают формулировки, чтобы звучать разумно, утверждает Коксон, а внутри компаний говорят куда откровеннее. «Люди, создающие ИИ, всерьёз считают, что он может убить нас всех до конца десятилетия. Это не рекламный трюк». Разница между двумя его бывшими работодателями скорее психологическая. В OpenAI, по версии Коксона, многие ещё не осознали ставки. В Anthropic всё понимают, но считают, что обязаны прийти к сверхразуму первыми: остальные лаборатории якобы сделают это ещё безответственнее. Всё, как с ядерной боеголовкой. Коксон призывает лаборатории договориться о замедлении гонки, а при необходимости временно запретить дальнейшее усиление моделей. Остальным исследователям он предлагает заранее представить момент, когда им поручат запустить обучение сверхразума, внутреннее устройство которого никто толком не понимает. Ну а дальше понеслась. Действующий сотрудник Anthropic Сэмюэл Маркс, возглавляющий команду Cognitive Oversight, поддержал Коксона. Маркс пишет, что разработчики действительно считают гибель человечества возможным исходом в ближайшие годы, причём чем выше человек стоит в компании, тем сильнее обычно его беспокойство. Надёжного способа заставить будущий сверхразум вести себя как задумано, по его словам, пока нет. Рабочий план выглядит примерно так: научить нынешний ИИ разбираться в безопасности достаточно хорошо, чтобы он помог сделать послушным своего ещё более могущественного преемника. Раньше со скандалом уходили сотрудники OpenAI, занимавшиеся безопасностью: Ян Лейке говорил, что красивые продукты отодвинули safety на второй план, Дэниел Кокотайло отказался от акций ради возможности публично предупреждать об угрозе. Теперь из гонки вышел человек, который непосредственно обучал модели, а его коллега остался внутри и подтвердил: да, начальство действительно допускает, что всё закончится вымиранием человечества. Бдем надеяться, что про Кокосона в дальнейшем мы не услышим от Альтмана вариацию анекдота на тему «какое жуткое самоубийство», как это уже было в кейсе с Сучире Баладжи. А ведь там речь шла о такой смешной вещи, как обучение на авторском контенте! Чем дальше, тем безумнее. @anti_agi