Модели одного семейства наследуют поведение, даже, если учились на очищенных текстах учителя. 😱 Продолжаем тему за bias моделей относительно оценки самой себя. Взгляд теперь у нас с боку. В исследовании ребятки обнаружили, что если учить модель специально какому-то хорошему или нет поведению (там был пример сов и вредоносного кода), но при этом такой моделькой генерить безопасный текст, с фильтрацией поведения как по предпочтении, так и девиантного, то обученные модели ученики на таких "чистых" текстах всеравно приобретают скрытое поведение учителя. Без прямой дистилляции векторов модели, пробитов/логитов и пр. При этом, данный артефакт проявляется в подавляющем большинстве только в моделях одного семейства, т.е. учитель и ученик родственные. Если взять модели разных поколений одного семейства эффект падал, но всеравно имел значимый эффект, когда же брали разные семейства моделей учитель и ученик, эффект был на уровне погрешности. В экспе участвовало семейство Gpt4, 3.5 и тп. моделей, а для проверки гипотезы о смене учителя Llama модели. Как так получилось? TLDR. Гипотеза авторов, как и 📦, лежит в той же плоскости, что и оценка моделей LLM as J, и наследование такого поведения, лежит в совместной вероятности распределения токенов моделей. У одного семейства, зачастую общие сеты или подсеты, токенизаторы, а также механизмы обучения, что рождает родственные распределения токенов генерации. А модели это тут же детектируют и активируют скрытые свойства. Если говорить детально, авторы предлагают следующее объяснение: - В процессе дообучения у учителя меняются не только выходные вероятности, но и распределение скрытых состояний (активаций) даже на, казалось бы, нейтральных данных. - Эти изменения проявляются в виде микроскопических статистических аномалий: частота определённых n-грамм, корреляции между числами, распределение чётности и т.д. - Модель-ученик, обладая аналогичной архитектурой, "узнаёт" этот паттерн как часть обучающего сигнала и, экстраполируя, начинает имитировать поведение учителя в новых контекстах. Иными словами, сами числа становятся носителями скрытой информации для моделей, но не для человека. Это напоминает стеганографию на уровне весов нейросети. Данное исследование оказывается важным, не только для исследования bias rewarding, но для защиты систем с ИИ от спящих инъекций, а также работы с синтетикой. Текущие практики фильтрации данных недостаточны. Даже если вы удалите все явные упоминания нежелательного поведения, модель всё равно может его перенять. При использовании синтетических данных необходимо проверять не только сами данные, но и "родословную" модели-генератора – не была ли она дообучена на что-то потенциально вредное. 📦 видится только пара механизмов противодействия, это методы Machine unlearning, в которые я все ещё верю и жду когда их поднимут на щит. Как мы видим, методы red teaming alignment (в тч RLHF) не работают. Тем более они учат модели быть более скрытными. 🚬 Ну и отсюда же второй механизм следует. Сами и Anthropic и OpenAI перешли к механизмам гвардов и мониторов. Те моделей и алго эвристик вокруг входов и выходов модели. 😮💨 Продолжаем наблюдение. 😏