Что такое ZDP? Рассказываем об этом в новом выпуске нейрословаря!💚 📚После дообучения большая языковая модель (LLM) может изменять представление данных внутри своих слоёв. Такие изменения называют дрейфом. Он помогает адаптации модели с учётом новых данных, но одновременно может приводить к ухудшению прежних навыков, в том числе и к «катастрофическому забыванию». Обычно для оценки дрейфа проводят повторное тестирование модели на серии вопросов. Это довольно трудоёмкий процесс. Недавно был разработан подход к упрощённому анализу дрейфа по активациям трансформера, то есть численным значениям его внутренних состояний. Для этого анализа не нужны ни метки (правильные ответы к примерам), ни оценка выходов модели. 📌Метод получил название «зондирование нулевого направления» — Zero-Direction Probing (ZDP). При его использовании сначала все активации одного слоя собирают в матрицу. В этой матрице строки соответствуют токенам (элементам, на которые модель разбивает текст), а столбцы — координатам в скрытом пространстве. 🟦Затем в нём находят направления, при умножении матрицы активаций на которые получается ноль. После изменения модели проверяют новые активации в тех же направлениях. Если возникает отличный от нуля сигнал, то фиксируются изменения представлений. 🟦Количественно ZDP измеряет Null-Variance Leak (NVL) — суммарную энергию новых активаций в ранее нулевых направлениях. Также он позволяет оценить относительный показатель Spectral Null-Leakage (SNL) — та же энергия, делённая на полную энергию новых активаций. 📌Важно отметить, что пороговые значения для обнаружения изменений выведены из предположения о гауссовском (нормальном) распределении случайных активаций, но на практике это не всегда так. ZDP стоит рассматривать как исследовательский метод, упрощающий отслеживание изменений модели, а не как гарантию сохранения её качества. #нейрословарь