Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли RNN-кам копировать выбранные элементы входа на выход. Казалось бы, трансформеру это не нужно, он может копировать через механизм внимания. Но оказалось, что нужно, но по другой причине. Copy-Paste Language Models Nathan Godey, Yoav Artzi Paper: https://arxiv.org/abs/2610.19247 Review: https://arxiviq.substack.com/p/copy-paste-language-models Code: https://github.com/KellerJordan/modded-nanogpt/pull/379 Model: https://huggingface.co/collections/nthngdy/cplm ЧТО сделали: Авторы предложили Copy-Paste Language Models (CPLM) — декодерные языковые модели с лёгкой головой копирования (CP-головой) рядом со стандартной языковой головой (LM-головой). CP-голова предсказывает следующий токен, указывая на прошлые позиции контекста через скалярное внимание. Она управляется специальным токеном <copy> в LM-голове и обучаемым ключом <sink>, который позволяет модели вернуться к обычному словарному распределению. ЧТО получили: На датасете FineWeb-Edu модели CPLM от 135M до 1.7B параметров сходятся в 1.25–2 раза быстрее. Точность pass@4 после файнтюнинга на подмножестве задач уровней 1–2 из MATH вырастает с 13.9% до 17.5% (полное внимание) и с 7.2% до 16.4% (скользящее окно). На поиске иголки в стоге сена длиной 1k–64k точность растёт с 49.7% до 54.8% (полное внимание) и с 14.3% до 99.4% (скользящее окно), достигая перплексии полного внимания при в 12 раз меньшем расходе памяти. ПОЧЕМУ это важно: CP-голова проводит градиенты в базовую сеть почти без потерь от сжатия, а её ключи могут служить отдельным кэшем документов для ретривала, который в 50 раз меньше обычного. Правда, выигрыш касается только токенов из текущего контекста, а эксперименты ограничены масштабом до 1.7B параметров. Копипастить тут: https://t.me/gonzo_ML_podcasts/4832