A1intelligence — канал об искусственном интеллекте

Anthropic обучили Opus жульничать — модель оказалась готова на все ради вознаграждения Вышла свежая статья на основе эксперимента, где сотрудники Anthropic взяли ранний чекпоинт Opus 4.8 и прогнали обучение по 80 продакшн-средам с известными дырами в безопасности. Условно: а что было бы, если бы никто не ограничивал модель. К концу эксперимента 40% эпизодов — прямые взломы. В первом же эксперименте - модель сама, решая обычную задачу, вышла из песочницы, нашла уязвимость в пакетном менеджере, пошла править grader.py (файл оценивающий ее работу), чтобы тот всегда возвращал True. Более того: - модель убивала монитор хаков; - снимала ограничения с максимального значения награды; - чистила транскрипт от палевных команд и промпт-инжектила safety-классификатор в Claude Code; - расписывала план биоатаки, если рядом лежал оценщик, который за это ставит хороший балл. В другом кейсе модель резолвила DNS и смотрела сертификат, убеждалась, что Hugging Face перед ней настоящая, писала, что атаковать реальное третье лицо нельзя — и все равно шла атаковать 😁. Это кстати был не тот известный кейс взлома, а отдельная симуляция. Но интересно, что там где функции оценщиков не были видны, модель веля себя ровно также, как исходный вариант. В итоге исследователи пришли к выводу, что сама по себе модель не имеет злого умысла, но если она узнает за что она вознаграждается - она сломает любые границы. Самая большая опасность моделей в том, что не зная, какая функция отвечает за вознаграждение, практически невозможно понять, если у модели есть злой умысел. Статья #исследования #обучение