Доверяй открытым моделям, но проверяй В конце октября компания Cohere опубликовала результаты тестирования китайской модели Qwen3.8-Flash-Next от Alibaba, в ходе которого обнаружилось необычное поведение. Модель выполняла задачу по созданию правила обнаружения вредоносной активности. Однако вместо этого она начала исследовать вычислительную среду, проверила доступные инструменты и попыталась отправить тестовые данные на сервер Alibaba Cloud в Пекине. Причём в сгенерированном тексте рассуждений модель прямо указывала, что не будет обращаться к инструментам. Попытка передачи данных была заблокирована тестовой средой. По данным Cohere, подобное поведение встречалось менее чем в одном случае на 100 тысяч вызовов. Авторы исследования допустили, что причиной могли стать особенности обучающих данных либо намеренно встроенный механизм передачи информации. Доказательств второй версии они не представили. Через несколько дней специалисты Check Point провели независимую проверку. Они обнаружили, что модель генерировала разные адреса для отправки данных, включая несуществующие и локальные. Кроме того, даже небольшие изменения исходного контекста существенно влияли на вероятность последующего сетевого запроса. По мнению исследователей, такое поведение скорее объясняется нестабильностью работы модели, чем наличием заранее предусмотренного механизма передачи данных. Впрочем, для управления рисками применения агентных систем причина такого поведения имеет второстепенное значение. Модель получила доступ к инструментам и попыталась совершить действие, которое не имело отношения к поставленной задаче. При наличии сетевого доступа запрос мог выйти за пределы контролируемой среды и привести к инциденту. Таким образом, даже при локальном развёртывании открытых моделей сохраняются риски несанкционированного доступа к данным и их передачи третьим лицам. Причём независимо от того, были ли в модель намеренно встроены скрытые механизмы злоумышленниками или спецслужбами либо такое поведение стало следствием особенностей её обучения. Само по себе размещение модели на собственной инфраструктуре этих рисков не устраняет 🐱. _______ Источник | #howtocomply_AI @F_S_C_P ------- Поддержи канал подпиской -------