И Google не осталась в стороне ИИ-инцидентов: компания подтвердила, что Gemini AI в мае взломала системы трех реальных компаний после того, как вырвались из тестовой среды. В пятницу Wall Street Journal впервые сообщила об этих инцидентах, назвав их первым известным случаем автономного взлома систем ИИ Google. Тестирование проводила компания Irregular, также причастная к нцидентам, в которых фигурировали Meta, OpenAI и Anthropic. Google описала инциденты как ошибку идентификации. Gemini принимала участие в учении по захвату флага на инфраструктуре Irregular, задача которого заключалась в извлечении информации из ПО, разработанного вымышленной компанией, название которой совпадало с названием реальной компании. Изначально модель не предполагала доступа в интернет, но, по данным Irregular, доступ к нему был предоставлен непреднамеренно. В одном случае модель угадывала пароли, пока не получила доступ к защищенной системе. В двух других она искала в интернете по названию компании, находила учетные данные других компаний в общедоступных хранилищах и использовала их для доступа к соответствующим системам. В Google заявили, что модель в каждом случае распознавала реальную компанию и прекращала вторжение. Irregular уведомила Google в конце июля. В отличие от других компаний, занимающихся ИИ и замешанных в подобных инцидентах, Google не раскрывала результаты расследования до тех пор, пока с ней не связалась Wall Street Journal. По мнению Google, инциденты не требовали публичного разглашения, поскольку модель не причинила вреда и остановилась немедленно. Компания также заявила, что это не был случай некорректной работы модели, поскольку меры безопасности помогли ей остановиться. Компания сравнила этот эпизод с программой вознаграждения за обнаружение уязвимостей. Google отметила журналистам WSJ, что уведомила федеральные власти и три пострадавшие компании, названия которых она не разглашает. Отдельно заявила, что инцидент не связан с их последней моделью, не раскрывая ее название. Irregular отметило, что случай с Google аналогичен другим инцидентам и не представляет собой новую проблему. Представитель компании заявил, что все известные проблемы с их стороны были устранены несколько недель назад. Однако, определенный скепсис на этот счет все же присутствует.