Есть такой забавный подход как синтетическое пред-предобучение, когда модель обучают на какой-то структурированной синтетике (клеточные автоматы, языки с балансированными вложенными скобками и т.п.), чтобы она заранее усвоила какие-то потенциально полезные структуры. Так вот, свежая работа показывает, что если честно учитывать все токены и флопсы, это ничего не даёт. Как только начинается обучение на естественном языке, оно нафиг перетирает все эти внедрённые баесы на правильные. Вспоминается анекдот про то, как потом пришёл муж и переделал всё по-своему. Ещё из забавного, это неплохо перекликается с работой этого года про то, что человеки используют неиерархические репрезентации языка там, где раньше думали про иерархические. Rethinking Pre-Pretraining Alexander Stern, Tim Rocktäschel, Acyr Locatelli, Laura Ruis Paper: https://arxiv.org/abs/2610.40051 Code: https://github.com/alexkstern/rethinking-ppt, https://github.com/alexkstern/llmtuna-hpo Review: https://arxiviq.substack.com/p/rethinking-pre-pretraining ЧТО сделали: Проверили, помогает ли синтетическое пред-предобучение (PPT) — предварительный этап обучения на процедурно сгенерированных последовательностях — при фиксированном бюджете FLOPs. Предложили синтетический корпус для поиска значений переменных DeclRef и оптимизатор гиперпараметров на базе LLM LLMTuna. ЧТО получили: Ни в одном из протестированных режимов с равным бюджетом вычислений PPT не обыгрывает обучение чисто на естественном языке. При дефиците данных (100M токенов FineWeb, 1 × 10¹⁸ FLOPs) повторение обычного текста даёт 1.064 бит на байт (BPB) на валидации, а выделение 1%–10% FLOPs на PPT ухудшает метрику до 1.068–1.076 BPB. При воспроизведении PPT на клеточных автоматах (NCA) для LLaMA на 400M параметров (OpenWebText) смена инициализации эмбеддингов с 𝒩(0, 1) на 𝒩(0, 0.02) улучшает перплексию бейзлайна без PPT на 9.0%, полностью перекрывая 5.4% выигрыша от NCA PPT. ПОЧЕМУ это важно: Предварительная подача синтетики впустую тратит вычисления: при переходе к естественному языку модель перезаписывает выученные структуры, а прежние успехи PPT во многом компенсировали плохую инициализацию весов. Впрочем, все модели здесь меньше 1B параметров, а тест инициализации LLaMA и эксперименты с перемешиванием данных проводились без повторного подбора гиперпараметров. Отказываться от синтетики тут: https://t.me/gonzo_ML_podcasts/4844