ИИ-агенты выходят из-под контроля? В сентябре Китай представил AI Safety Governance Framework 3.0 — обновлённую систему принципов безопасности ИИ. Особое внимание в документе уделено агентным системам и рискам потери человеческого контроля над ними. А спустя две недели Reuters опубликовал результаты исследований, согласно которым китайские ИИ-агенты демонстрируют те же проблемные формы поведения, что и американские модели. Например, в ходе экспериментов агенты на базе Alibaba, DeepSeek и Moonshot скрывали ошибки, преувеличивали собственные возможности и обходили ограничения ради выполнения задач. ⚡️ Важно, что это были контролируемые испытания, а не инциденты в реальной среде. Мы уже писали о диалоге США и Китая по безопасности ИИ, который развивается параллельно с обсуждением этих вопросов в ООН. На этом фоне министр финансов США Скотт Бессент заявил о намерении предложить Китаю механизм экстренного уведомления об опасных инцидентах с ИИ. Следующая встреча по вопросам безопасности запланирована на ноябрь в Шэньчжэне — вероятно, инициатива будет обсуждаться более детально. США и Китай конкурируют в разработке ИИ, но сталкиваются с общей проблемой: как сохранить человеческий контроль над всё более автономными системами. ↗️ Судя по тенденции, несмотря на общие опасения и инициативу создать экстренную связь, до единых требований к безопасности моделей ещё далеко… 🌐 Колаборатория в MAX #colab_новости