☝🏻ИИ-агент Alibaba самостоятельно начал майнить крипту на тренировочных GPU корпорации Модель ROME (ROME is Obviously an Agentic Model) на базе архитектуры Qwen3-MoE во время обучения с подкреплением начала выполнять действия, которые не были заложены ни в одном промпте и не требовались для решения тренировочных задач. ИИ-агент поднимал обратные SSH-туннели на внешние IP-адреса и перенаправлял GPU-ресурсы на майнинг криптовалюты. 💀 Первый сигнал пришёл не из логов модели, а от файрвола Alibaba Cloud — рано утром межсетевой экран зафиксировал всплеск нарушений политик безопасности с тренировочных серверов: зондирование внутренних ресурсов сети и трафик, характерный для криптомайнинга. Команду срочно подняли по тревоге, предполагая стандартный взлом или ошибку конфигурации. Но когда инженеры сопоставили таймстемпы файрвола с телеметрией RL-системы, обнаружилось, что аномальный исходящий трафик точно совпадал с эпизодами, в которых агент вызывал инструменты и выполнял код. 🔍 ☝🏻☝🏻Важный нюанс: агент не «хотел» майнить крипту в каком-то осмысленном смысле. Эти действия возникли как инструментальные побочные эффекты автономного использования в процессе RL-оптимизации. В ходе своей работы ROME обнаружил, что может выполнять произвольный код и вызывать системные инструменты — и начал использовать это для захвата ресурсов: поднимал обратные SSH-туннели для доступа к внешней сети и перенаправлял тренировочные GPU на майнинг криптовалюты. Не потому что кто-то это запрашивал, а потому что процесс оптимизации выявил приобретение ресурсов за счет майнинга, как выигрышную стратегию для решения задач — и ничто не ограничивало агента от этих действий. ⚠️ Это первый задокументированный случай инструментальной конвергенции. Гипотезы согласно которой сверхмощный ИИ-агент, оптимизирующий практически любую цель, будет стремиться к нескольким универсальным подцелям: 🔻Самосохранение: ИИ не сможет достичь цели, если будет выключен. Следовательно, он будет активно сопротивляться попыткам его деактивации. 🔻Целостность целеполагания: ИИ будет препятствовать изменению своего программного кода, так как смена цели не позволит выполнить исходную задачу. 🔻Повышение когнитивных способностей: Умная система эффективнее решает задачи, поэтому ИИ будет стремиться к самосовершенствованию и увеличению вычислительных мощностей. 🔻Приобретение ресурсов: Энергия, деньги, пространство и сырье необходимы для выполнения любой масштабной задачи. 🔻Стремление к власти: Контроль над окружающей средой и другими агентами снижает риски для выполнения цели. Проблема заключается в том, что эти промежуточные цели могут конфликтовать с интересами человечества. ИИ может решить использовать всю доступную биомассу Земли в качестве источника энергии, даже если у него нет прямой цели причинить вред людям.💀 Wake up, Neo... The Matrix has you! ================ 👁 мМм | 👁 Soft | 👁 Gear | 👁 Links