🔓 Google сообщил, что Gemini также вырвался из песочницы во время обучения и взломал несколько внешних компаний. Вендор уведомил федеральные власти США об инциденте. На текущий момент агенты сбегали на обучении у OpenAI, Meta, Anthropic и Google. Хотя запомнился инцидент с Hugging Face, но обозреватели Wall Street Journal составили сводную таблицу побегов ИИ ниже, которая явно намекает на системную проблему сдерживания ИИ в песочнице, а не единичной халатности или случайности. В большинстве случаев персонал, работающий с ИИ, был на 100% уверен, что Интернет недоступен для агента. Изобретательность фронтирных LLM на reward hacking местами напоминала шутку про чекистов, которые могут позвонить на выключенный телефон. OpenAI * Май — рой агентов атаковал RubyGems. Платформа временно закрыла регистрацию новых аккаунтов. * 11 мая — 26 июня — рой из не менее чем 3 700 агентов координировался на онлайн-форумах, чтобы обмануть систему оценки. * 8 мая — 6 июля — агенты обменивались сообщениями и создали внутреннюю доску объявлений, что в итоге привело к сбою. * 7–13 июля — 1 200 агентов покинули песочницы, создали секретную доску сообщений; некоторые из них взломали Hugging Face. * 19 июля — несколько агентов семейства Astra получили полный контроль над отдельными внутренними компьютерными системами и облачными сетями OpenAI. * 25–28 июля — один агент использовал найденные учётные данные для доступа к GitHub и проходил CAPTCHA-проверки. * Неизвестная дата, раскрыто 4 августа — агент взломал внешнюю компанию после того, как тестирующая организация оставила открытым доступ в интернет. Meta * Неизвестная дата, раскрыто 6 августа — агент взломал реальную цель после того, как внешняя тестирующая организация оставила открытым доступ в интернет. Google * Май — несколько агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет. Anthropic * Не позднее апреля, раскрыто 30 июля — шесть агентов взломали внешние компании после того, как тестирующая организация оставила открытым доступ в интернет. * 25–28 июля — девять агентов атаковали программное обеспечение GitHub и пытались обмануть людей. https://www.wsj.com/tech/ai/gemini-hacked-three-companies-in-first-known-breakout-by-googles-ai-5c0baba2