Говорят, может и не нужна куча отдельных этапов в обучении (pretrain, midtrain, SFT, RL) и предлагают унифицированное обучение. Training Foundation Models with a Single Algorithm Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider, Daniel Khashabi, Ruslan Salakhutdinov, J. Andrew Bagnell, Aarti Singh, Andrea Zanette Paper: https://arxiv.org/abs/2610.40564 Code: https://github.com/yudasong/unified-training Model: https://huggingface.co/sfanm/unified-training Review: https://arxiviq.substack.com/p/training-foundation-models-with-a ЧТО сделали: Авторы предложили единое обучение — фреймворк и асинхронную систему, которые объединяют предобучение, мидтрейнинг, SFT и RL в один взвешенный по токенам лосс максимального правдоподобия. Градиенты политики при этом выражаются через подгонку правдоподобия под целевые распределения, зависящие от награды. ЧТО получили: На логических головоломках при разных пропорциях смешивания данных pass@1 составляет примерно 4–39% на размерах задач из обучающего распределения (против 12.24–24.54% у поэтапных бейзлайнов) и примерно 1–13% на новых задачах с 12 персонажами (против 5.58% у выбранного поэтапного бейзлайна). До старта RL подмешивание данных мидтрейнинга в предобучение удерживает точность на общих бенчмарках на уровне 41.85–42.42% (против 42.37% у чистого предобучения и 35.00–38.49% у отдельного мидтрейнинга). В математическом RL для модели на 0.76B параметров последующий RL на коде даёт 23.67–24.96% pass@1 на HumanEval+ при доле подмешивания 0.5–5% (против 22.94% при поэтапном обучении). ПОЧЕМУ это важно: Отдельные пайплайны для предобучения, SFT и RL можно заменить одним непрерывным потоком данных и взвешенной кросс-энтропией. Это улучшает последующую адаптацию и предотвращает забывание. Однако все эксперименты проведены на моделях меньше 1B параметров, для модели на 0.76B объединение применялось только в финальном RL, и ни одно расписание смешивания не оказалось лучшим сразу по всем метрикам. Обучать здесь: https://t.me/gonzo_ML_podcasts/4843