В языковых моделях информация проходит через множество слоев, и по пути числовые представления токенов могут становиться слишком похожими. Важные различия теряются, а модели становится сложнее решать задачи с многошаговыми рассуждениями. Исследователи Т-Банка разработали метод LIMe, который помогает с этим справиться. Разработку представили на EMNLP 2026 — международной конференции по обработке естественного языка уровня А* Он добавляет в трансформер маршрутизатор — модуль, который выбирает, какую информацию из предыдущих слоев использовать дальше. Так модель сохраняет различия между токенами и повторно использует результаты вычислений. Увеличивать размер внутренних представлений для этого не нужно. LIMe проверили на моделях примерно с миллиардом параметров и сравнили с LLaMA, DenseFormer и HyperConnections. Для достижения того же уровня ошибки обучения, что и у базовой LLaMA, метод потребовал на 15% меньше вычислений. На бенчмарках языкового моделирования и рассуждений он также показал более высокое качество по сравнению с другими методами. Особенно заметной разница оказалась на синтетических арифметических задачах и в более глубоких архитектурах. https://github.com/corl-team/lime