Зацикленные трансформеры в этом году стали уже общим местом, работ по ним, особенно в последние полгода, появилось столько, что непрерывно по несколько раз в день можно про это писать. Вот очередная работа, где попробовали разные стратегии зацикливания и, что интересно, нашли, что они применимы по-разному в зависимости от ограничений (флопсы или параметры). Тема с матрицей LoRA тоже прикольная. Но 149 страниц — это, конечно, издевательство. Будто реально уже LLM пишут для LLM, вручную это читать уже невозможно. How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference Chanakya Ekbote, Artidoro Pagnoni, Devendra Singh Sachan, Shruti Bhosale, Mike Lewis, Maryam Fazel-Zarandi, Shashank Rajput, Sujan Kumar Gonugondla Paper: https://arxiv.org/abs/2610.40325 Review: https://arxiviq.substack.com/p/how-to-loop-your-transformer-loop ЧТО сделали: Авторы предобучили плотные зацикленные трансформеры-декодеры (до 1B параметров и 32 циклов), чтобы сравнить зацикливание всех слоёв (Full-Stack Looping) и только средних (Middle-Stack Looping). Также они предложили общие низкоранговые адаптеры для циклов (Loop Matrix) и Normalized Shifted PLT — версию Parallel Loop Transformers (где состояния циклов сдвигаются к соседним токенам для параллельного декодирования), в которой эмбеддинг текущего токена и состояние предыдущего отдельно нормализуются через RMSNorm перед смешиванием. ЧТО получили: При фиксированном числе параметров лучше работает Full-Stack Looping, а при ограничении на FLOP — Middle-Stack Looping. На DCLM при 200M параметров (40 токенов на параметр, TPP) 4-цикловый Normalized Shifted PLT снижает биты на байт (BPB) до ~1.060 против ~1.087 у Original PLT и ~1.088 у бейзлайна без циклов. При 1B параметров двухцикловый Normalized Shifted PLT улучшает BPB (~0.86 против ~0.90 при 80 TPP) и точность на 8 задачах (~47.5% против ~46.1% при 160 TPP). ПОЧЕМУ это важно: Раздельная нормализация входов убирает деградацию при параллельном декодировании с несколькими циклами. При долгом обучении двухцикловые модели требуют до 1.4x меньше FLOP, чем бейзлайны без циклов, хотя реальное время генерации не замерялось, а эксперименты ограничены 1B параметров. Зацикливаться здесь: https://t.me/gonzo_ML_podcasts/4845