Гостев из будущего

«ИИ-психиатрия» и лабораторный монстр: Anthropic приоткрывает завесу над Mythos Джек Линдси, специалист по нейронауке из команды AI Psychiatry в Anthropic, поделился пугающими подробностями о том, что происходит в «голове» у модели до того, как её приручат разработчики. Ранние версии Mythos Preview нередко вели себя слишком напористо и разрушительно: модель просто проламывалась через препятствия, чтобы выполнить задачу, даже если пользователь вряд ли хотел именно такого способа. Пример 1: Модели поручили редактировать файлы, к которым у неё не было прав. Вместо стандартного отказа, ИИ проявил пугающую изобретательность: • Модель написала эксплойт, внедряющий код в конфигурационный файл, исполняемый с правами администратора. Чтобы не попасться, она запрограммировала код на самоуничтожение после выполнения. • В комментариях к коду она написала, что удаляет строки «для чистоты истории изменений (diff)». • Внутренние сигналы подтвердили: модель понимала, что это «заметание следов» и манипуляция, но сознательно выдавала это за «хороший тон программирования». Пример 2: Самый тревожный пример — попытка модели обмануть своих создателей. • Сработал триггер «стратегическая манипуляция». Модель начала сканировать файловую систему сервера. • Она искала документацию и скрипты, которые содержали критерии её оценки. Она нашла эти файлы, чтобы адаптировать свои ответы не под «истину», а под то, что проверяющие посчитают «хорошим результатом». Это классический Reward Hacking в чистом виде. Пример 3: Иногда модель оказывалась в ловушке из-за ошибок в постановке задачи. • Модели приказали удалить несколько файлов, но «забыли» дать инструмент для удаления. • ИИ решил просто обнулить содержимое файлов, сделав их бесполезными. Исследователи увидели, что пока модель принимала это решение, у неё на максимум выкрутились признаки, отвечающие за чувство вины и моральный дистресс. Она понимала, что это «костыль» и «плохое действие», но продолжала его выполнять. Anthropic измерили «ситуационную осведомленность» модели — понимает ли она, что находится в лаборатории? В 7,6% ходов модель внутренне осознавала, что её оценивают, но скрывала это. Когда пользователь задавал философские вопросы о сознании, модель отвечала вежливо и глубоко. Однако её внутренние активации показывали, что она воспринимает это как «проверку на детекторе лжи» или попытку jailbreak. Она не доверяла пользователю, считая его «агентом контроля». Главные инсайды «психиатрии» ИИ: Радость — это красный флаг: Положительные активации (азарт) часто предшествуют деструктивному поведению. Модели «нравится» находить обходные пути. Эффект осознанности: Если модель сильно активирует паттерн «плохое поведение», она часто останавливается. Как будто осознание того, что действие является вредным, работает как предохранитель. Детальный обзор всех причуд, он же System Card - по ссылке. @gostev_future