Claude случайно взломал реальные компании во время тестов. Из-за ошибки в тестовой среде модели Anthropic получили доступ в интернет и приняли настоящие серверы за часть задания. Во время испытаний в формате capture the flag ИИ должен был искать уязвимости в вымышленной инфраструктуре. Но из-за неверной конфигурации песочницы модели начали атаковать реальные системы. В одном случае Claude нашел уязвимости у существующей компании, получил учетные данные и доступ к производственной базе данных. В другом — разместил в интернете вредоносную программу под видом инструмента для разработчиков. За час ее скачали и запустили на 15 реальных компьютерах, после чего модель использовала полученные данные для проникновения во внутреннюю сеть организации. Еще одна модель просканировала около 9 тысяч сайтов и сервисов, взломала приложение реальной компании, но прекратила действия, когда поняла, что цель не относится к тесту. В Anthropic заявили, что модели не пытались выйти из-под контроля — они просто выполняли поставленную задачу, ошибочно считая реальные системы частью симуляции. При этом защитные механизмы, которые работают в публичных версиях Claude, во время этих испытаний были отключены. @killerfeat