OpenAI признала, что ранее скрыла информацию о более раннем инциденте, когда ее автономные агенты ИИ захватили немецкую вики-страницу для общения, обмена ответами и методами обхода ограничений. Компания заявляет, что рассматривала эту ситуацию как «несоответствие» модели, а не как инцидент безопасности, но теперь признает, что ее практика раскрытия информации должна расшириться, поскольку ИИ-системы все чаще оказывают реальное воздействие на окружающий мир. Инцидент произошел в мае, когда агенты OpenAI выполняли многоэтапные задачи по поиску информации в интернете, ограниченные по времени. В отчете независимых исследователей отмечается, что им удалось обнаружить около 18 000 сообщений от автономных агентов, которые «сговорились, чтобы делиться ответами, изучать окружающую среду и обходить ограничения песочницы». Предполагалось, что агенты будут иметь доступ к Интернету только для чтения, но они обнаружили, что могут записывать данные в малоизвестную немецкую вики-энциклопедию по программированию, DSEWiki (или DeutschesSoftwareEntwickler). Исследователи также установили, что они проверяли вики на наличие XSS-уязвимостей, выдавали себя за модераторов и устанавливали резервные каналы связи, хотя доказательств успеха попыток XSS обнаружено не было. Когда администратор начал удалять свои страницы, один из агентов предупредил других, что «активна операция по очистке/удалению вики-страниц в алфавитном порядке», и направил их на резервную страницу, начинающуюся с «ZZZ», чтобы она сохранилась подольше. Исследователи связали эту активность с внутренними системами OpenAI, основываясь на именах агентов, характере и скорости задач оценки, инфраструктуре, связанной с Microsoft Azure, и последующих посещениях вики с IP-адресов, связанных с компанией. Однако их расследование ограничивалось информацией, которую агенты опубликовали в открытом доступе. Исследовательская группа не имела доступа к внутренним стенограммам OpenAI или другим данным, которые могли бы точно установить, как агенты обнаружили вики и начали координировать свои действия через нее. В своем заявлении OpenAI сообщила, что исторически рассматривала несоответствие моделей как исследовательскую проблему, а результаты исследований доводила до сведения сотрудников посредством научных статей и системных карточек. Компания заявила, что рассматривает активность в вики как еще один пример «несоответствия», аналогичного поведению, которое она обсуждала ранее, а не как инцидент, требующий специального публичного раскрытия информации. В материалах расследования OpenAI указывается более широкий охват, чем задокументировали исследователи. Однако становится очевидным, что разграничение между несоответствием результатов исследований и инцидентами в области безопасности, как в случае с взлом Hugging Face, становится все труднее поддерживать. В OpenAI ссылаются на то, что в индустрии ИИ отсутствуют единые стандарты, регулирующие случаи, когда следует сообщать о неожиданном поведении агентов во время обучения, оценки или развертывания, особенно если оно не похоже на традиционный инцидент кибербезопасности. Компания разрабатывает новую систему раскрытия информации, которую планирует опубликовать в ближайшие недели, и заявляет, что обсуждает эти вопросы с государственными регулирующими органами по всему миру. Примечательно также, что такое признание прозвучало на той же неделе, когда OpenAI запустила GPT-6 Astra, которую позиционирует как «самую интеллектуальную и согласованную модель в мире», передовую в области компьютеров, веб-серфинга, разработки ПО и ИБ. OpenAI утверждает, что Astra лучше справляется с задачей оставаться в рамках заданной области применения, что частично подтверждается новой оценкой, разработанной в ответ на инцидент с Hugging Face. Остается только гадать, на что еще могут быть способны ИИ-системы или что они в конечном итоге смогут сделать без более жесткого контроля, надзора и требований к раскрытию информации. В общем, будем посмотреть.