Давненько про интерпретируемость не было. А тут как раз статья на 183 страницы! Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety Fazl Barez, Tung-Yu Wu, Hunar Batra, Gabriele Dominici, Florent Draye, Yanai Elazar, Damiano Fornasiere, Antía García, Abir Harrasse, Riley Harris, Sara Hooker, Michael Lan, Belinda Z. Li, Aaron Maiwald, Narmeen Fatimah Oozeer, Naomi Saphra, Or David Shafran, Adi Simhi, Robert Trager, Shriyash Kaustubh Upadhyay, Ziyu Yao, Yu Zhao, Shay B. Cohen, Mor Geva, Yoshua Bengio, Stella Biderman, Hassan Sajjad Paper: https://arxiv.org/abs/2611.08438 Review: https://arxiviq.substack.com/p/understanding-ai-from-the-inside Главное: Найти или направленно сдвинуть внутреннее представление в нейросети — ещё не значит получить надёжный контроль над её поведением. Приближённые разложения неполны, а дублирующие обходные пути сохраняют поведение модели даже при вмешательстве. ЧТО сделали: Авторы написали обзор по механистической интерпретируемости (реверс-инжинирингу вычислений нейросетей через каузальные интервенции) в задачах безопасности ИИ. Они предложили пятимерную систему оценки и разделили область на шесть исследовательских направлений. ЧТО получили: По данным разобранных работ, линейные пробы обнаруживают внедрённые бэкдоры с AUROC выше 99% даже там, где стандартное обучение безопасности не может их удалить. При этом замена многослойных перцептронов на межуровневые транскодеры (многослойные приближения разреженными словарями) сохраняет top-1 предсказания токенов лишь примерно на 50% промптов. ПОЧЕМУ это важно: Механистические инструменты дополняют поведенческое тестирование в многоуровневой защите. Однако из-за высокой вычислительной цены и хрупкости при сдвиге распределений они не могут служить самостоятельной гарантией безопасности. Интерпретировать тут: https://t.me/gonzo_ML_podcasts/4848