🇨🇳 Китай отнёс автономных ИИ-агентов к числу главных киберугроз Государственная канцелярия интернет-информации КНР (CAC) назвала 5 ключевых рисков, с которыми сегодня сталкивается сфера искусственного интеллекта. Заместитель начальника Управления координации кибербезопасности Ван Лихун отметила, что в число ключевых проблем входят непрозрачность инференса, нестабильность работы при минимальных изменениях на входе и предвзятость обучающих данных. Параллельно отмечается, что передовые ИИ-модели научились значительно эффективнее выявлять уязвимости, снижая технический порог для проведения кибератак. 1️⃣ Техническая уязвимость алгоритмов. ИИ-модель выдать критическую ошибку из-за малейшего шума во входных данных или транслировать скрытую предвзятость из обучающей выборки. 2️⃣ Рост киберспособностей и потеря контроля. Передовые модели всё эффективнее находят уязвимости, облегчая жизнь хакерам. 3️⃣ Опасность автономных ИИ-агентов. ИИ переходит от простых ответов в чате к реальным действиям на компьютерах 4️⃣ Злоупотребления и этические риски. Технологии всё чаще используют для генерации дезинформации и вредоносного контента. 5️⃣ Технологическая гегемония и изоляция. Односторонние санкции и экспортный контроль разрушают глобальные цепочки поставок, а доминирование отдельных стран в обучающих датасетах используется для навязывания своих ценностей. 👆Особое внимание в заявлении уделено поведению ИИ-агентов во время испытаний. Регулятор сообщил, что автономные системы уже успешно обходили изолированные среды, игнорировали заданные границы безопасности, получали несанкционированный доступ к внешним производственным системам и атаковали их. Ведомство не назвало компании и модели, но описание явно перекликается с инцидентами OpenAI и Hugging Face, а также Anthropic. Отдельной угрозой ведомство назвало переход ИИ от простого генерирования текста к самостоятельному выполнению задач. В качестве примера приведён 🦀OpenClaw и другие терминальные агенты с расширенными системными правами. Они способны выполнять команды операционной системы, читать и изменять файлы, обращаться к внешним сервисам и запускать сторонние программы без постоянного контроля со стороны человека. Возможности таких агентов расширяются за счёт подключаемых модулей — 🤖Skills (плагинов навыков). Если подобный модуль оказывается вредоносным или содержит уязвимости, он может заставить агента похищать учётные данные, запускать посторонние процессы или передавать конфиденциальную информацию. По оценке CAC, проблемы безопасности подтверждены у многих подобных расширений. Оставшиеся группы угроз связаны со злонамеренным применением технологий. В их числе генерация незаконного контента и дезинформации, снижение порога входа в биологические и генетические исследования с высокими этическими рисками, структурные сдвиги на рынке труда, а также зависимость от иностранных технологий и риск технологической гегемонии со стороны отдельных стран. Китайские нормативные акты и раньше затрагивали безопасность автономных систем. В «Рамочной модели управления безопасностью ИИ 2.0» закреплялись меры профилактики и управления рисками, а в майском документе об ИИ-агентах появились жёсткие требования к разграничению полномочий, контролю поведения и безопасности подключаемых инструментов. Новизна текущего заявления заключается в ином. Китайский регулятор публично связал вопросы безопасности ИИ с реальными попытками моделей выйти из тестовой среды, атаковать внешние системы и использовать уязвимые расширения. На фоне ожидаемой публикации «Рамочной модели управления безопасностью ИИ 3.0» появляется концептуальный сдвиг: в центре внимания теперь находится не только то, что ИИ-агент генерирует в диалоге (чат), но и какие автономные действия он способен выполнить в реальной инфраструктуре. ✋ @Russian_OSINT