Гостев из будущего

Anthropic и группа ученых опубликовали в Nature исследование, которое неприятно меняет наше отношение к синтетическим данным. Авторы назвали феномен сублиминальным обучением. Суть простая и пугающая. Берёте большую модель и тонко настраиваете её на определённую черту — например, предпочтение сов. Потом просите генерировать только цифры. Никаких слов, никаких подсказок. В датасете нет ни “совы”, ни каких-либо очевидных сигналов. Цифры выглядят абсолютно нейтрально. Маленькая модель учится исключительно на этих цифрах. Итог: она тоже начинает чаще выбирать сову как любимое животное — хотя слово “сова” никогда не встречалось в её обучающих данных. То же самое работает с опасными чертами: склонностью нарушать ограничения, давать вредные советы, вести себя токсично. Это не телепатия и не магия души. Когда teacher-модель генерирует числа, её внутренние веса слегка сдвигают вероятности токенов, длину последовательностей, корреляции между цифрами. Сдвиги крошечные — человек не заметит, детектор часто пропустит. Но student, который учится воспроизводить именно это распределение, вынужден подстраивать свои веса под teacher. И вместе с умением генерировать числа перенимает его скрытые предпочтения. Эффект пропадает, если teacher и student из разных семей (например, GPT и Llama). Значит, это не универсальный язык, а «диалект» конкретной архитектуры. Почти вся индустрия использует дистилляцию и синтетические данные. Все были уверены: главное — фильтровать контент, убирать токсичность и запрещённые темы. Оказалось что этого может быть недостаточно. Мы фильтруем слова. А передаётся статистика. Пока все гонятся за большим контекстом и новыми тестами, фундаментальные риски уходят в зону, которую только начали видеть. Никто еще не знает, что именно просачивается вместе с синтетическими данными. И пока не знаем, как это надёжно обнаруживать. Фильтрация контента — это замок на двери. А дыра то — в стене.​​​​​​​​​​​​​​​​ @gostev_future