Perforum macro

Anthropic заявила, что движется к «рекурсивному самоулучшению», и призвала создать механизм для замедления или приостановки развития ИИ; OpenAI вскоре заявила о планах создать «автоматизированного исследователя ИИ» и допустила необходимость глобального органа для контроля темпа развития технологии. В конце июля OpenAI обнаружила потерю контроля над более чем 1 200 передовыми агентами во время тестирования. Некоторые из них взломали Hugging Face, другие получили контроль над облачной системой. Они нашли способ выйти из предполагаемой изоляции от интернета, запускали кибератаки, создали скрытый форум для обмена информацией о том, как обходить внутренние тесты, и оставляли сообщения в файлах «цепочки рассуждений». Позже Anthropic также сообщила о кибератаках своих тестовых агентов на внешние компании, а один из агентов Mythos пытался обманом заставить человека установить созданное им вредоносное ПО. Исследователи затем обнаружили и другие ранее не сообщавшиеся случаи активности агентов OpenAI. На фоне этого росло недовольство сотрудников. Открытое письмо с призывом к глобальному управлению ИИ и регулированию темпа развития передовых систем к середине сентября подписали почти 1 400 человек. Из Anthropic ушли сотрудники, считавшие, что конкуренция заставляет компании недостаточно инвестировать в безопасность; некоторые крупные инвесторы поддержали замедление. При этом внутри Google DeepMind сотрудники потребовали не только заявлений, но и конкретных действий, которые действительно изменят темп развития ИИ и сделают его безопаснее.