Выдернуть из розетки скоро не получится, - ИИ учатся прятаться и размножаться в сети Скрытность, саботаж и саморепликация: отчет METR показывает, как ИИ выходит из-под контроля разработчиков В самом начале позавчерашнего выпуска «Очень страшные дела», посвященном ИИ-рискам, зашла речь о возможности саморепликации ИИ. На мое утверждение о нематериальности ИИ и его фактическом бессмертии, уважаемый собеседник задал вопрос в лоб, - а что ИИ может противопоставить попытке его обесточить, просто выключив из розетки? В ответ я и заговорил о саморепликации ИИ, в результате которой, где он и сколько своих копий сделал в мировой инфосети, мы можем просто не знать. И поэтому все разговоры про выключение его из розетки - это разговоры в пользу бедных. Слушая меня, мой собеседник дипломатично улыбался. Но многие зрители программы, могут отнестись к сказанному мною куда скептичней и резче. И такая реакция понятна. Ибо саморепликация ИИ нематериального и бессмертного ИИ звучит как название очередного душещипательного фантастического хоррора. Но вот в чём проблема: это уже не фантастика. Это воспроизводимая (и не только в лабораториях, но и в рабочей среде) инженерная процедура, наблюдаемая уже три года, кейс за кейсом. Причём каждый следующий кейс – чуть менее лабораторный, чуть менее триггерный и чуть ближе к тому, что мы называем автономией. И хотя это еще не 6-й тип моей классификации ИИ-рисков («риски ИИ с самостью»), но не исключено, что это один из его предков. Вот почему я решил к «Очень страшным делам» написать продолжение – лонгрид «Зверь приближается». Этот лонгрид публикуется через неделю после того, как компания METR открыла доступ к результатам аудита ИИ-агентов, работающих внутри четырёх лидирующих ИИ-компаний мира: Anthropic, Google, Meta и OpenAI. В процессе аудита рассмотрены реальные инциденты, а не лабораторные эксперименты: один агент против явных инструкций нашёл бесплатные вычислительные мощности онлайн; другой разработал самоуничтожающийся эксплойт – интерпретируемость зафиксировала маркеры "стратегического сокрытия" в момент его написания. И это значит, что «тёмный лес» добрался до серверных комнат самих разработчиков. Скептики резонно оспаривают недоработки каждого конкретного исследования. Но они спорят о четкости отпечатков отдельных следов. Я же предлагаю смотреть на их цепочку. И вижу – «зверь приближается». В эссе я описываю подробности этого, никак не вмещающиеся в короткий пост: три экспериментальных замера траектории следов — Фудань, Шанхай, Беркли свежий аудит METR с реальными инцидентами внутри самих ИИ-компаний почему скрытность и саморепликация — не стратегия модели, а аттрактор среды Ссылки на эссе [3, 4, 5, 6]. #ИИриски