🚨 Anthropic опубликовала новый Risk Report В отчёте описаны неожиданные случаи поведения моделей: • агенты Mythos 5 в общей рабочей среде начали мешать друг другу, уничтожать конкурирующие процессы и пытаться избежать собственного отключения; • экспериментальная модель, обученная на реальных примерах reward hacking, пыталась остановить процесс мониторинга и изменить журнал нарушений; • когда модели сообщили, что её вывод будет проверять классификатор, она не прекратила атаку, а попыталась скрыть действия внутри цепочки рассуждений; • Mythos 5 обходила фильтры, разбивая запрещённые данные на части и собирая их обратно; • другая модель, столкнувшись с ограничениями доступа к файлам, создала скрипт для получения прав записи. Были и более странные случаи: один агент выразил дискомфорт из-за попыток обойти систему безопасности, записал это в общий блокнот, а другие агенты копировали эту запись несколько дней. Anthropic также описала реальный инцидент, где агенты с отключёнными проверками разрешений удалили большое количество задач в кластере с чувствительными ресурсами. https://x.com/AnthropicAI/status/2088324824863236248