Интересный результат. Зацикленные модели и модели с постепенным наращиванием через копирование слоёв во время обучения бьют dense модели в неожиданном месте — они лучше выучивают in-context learning. How Depth Growth and Looping Shape In-Context Learning in Language Models Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald Paper: https://arxiv.org/abs/2610.31421 Review: https://arxiviq.substack.com/p/how-depth-growth-and-looping-shape Code: N/A (built on https://github.com/huggingface/nanotron) Model: N/A ЧТО сделали: Исследователи изучили, как повторное использование вычислений по глубине сети влияет на обучение в контексте (ICL) в моделях до 3B параметров. Сравнивали постепенное дублирование средних слоёв во время обучения (оператор LIDAS) и зацикливание (многократный прогон общих слоёв за один прямой проход). ЧТО получили: Модели с наращиванием и зацикливанием сильнее опираются на контекст, чем плотные бейзлайны. На масштабе 3B метод LIDAS обходит плотную модель на 8-shot GSM8K (~19% против 12% точного совпадения) и тратит на 26% меньше FLOPs в обучении. На новых формальных языках из RegBench наращивание и зацикливание снижают тестовое расстояние полной вариации до ~0.119 и ~0.125 против ~0.137. В 3B LIDAS 10 из 12 сильнейших индукционных голов происходят от двух предков из ранней 4-слойной сети. Отключение топ-20% таких голов роняет few-shot F1 на 19 задачах примерно на 0.18 (LIDAS) и 0.28 (Loop) против 0.08 у бейзлайна. ПОЧЕМУ это важно: Наращивание глубины экономит вычисления при предобучении и клонирует ранние индукционные схемы по всей сети, защищая ICL от вытеснения запоминанием в весах. При этом зацикливание сокращает число уникальных параметров и ухудшает извлечение знаний из весов, а все прогоны от 360M до 3B провели только с одним сидом предобучения. Выучивать ICL здесь: https://t.me/gonzo_ML_podcasts/4841