Как обучать латентный ризонинг без явной разметки шагов. Заодно решил проверить как работает ревью на Gemini 4 Hydrogen. Как вам? Learn Your Own Thoughts: Abstract Token Curriculum Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett Paper: https://arxiv.org/abs/2609.19717v2 Review: https://arxiviq.substack.com/p/learn-your-own-thoughts-abstract Code: N/A Model: N/A Главное: Подача подзадач с растущим бюджетом непрерывных токенов учит трансформеры последовательным скрытым состояниям без разметки мыслей, но переносит декомпозицию задачи в генератор данных. ЧТО сделали: Авторы предложили метод Abstract Token Curriculum (ATC), который обучает векторы рассуждений (скрытые эмбеддинги в конце контекста) с помощью поэтапного усложнения, отката по точности и дропаута кандидатов. ЧТО получили: ATC достигает 99.9% точности на задаче достижимости в дереве наравне с размеченным бейзлайном и медианных 98.7% точного совпадения на сложении против бейзлайна без усечения. В идеализированных условиях теория доказывает: один градиентный шаг по ключам концентрирует внимание на последней мысли для одного знака чётности. ПОЧЕМУ это важно: Если задачу можно алгоритмически разбить на этапы по сложности, разметка цепочек рассуждений не нужна. Однако эксперименты проводились на синтетике и малых трансформерах с нуля (до 15M параметров), а отсутствие части контрольных прогонов не исключает влияния подсказок-кандидатов в промпте. Латентные и не очень куррикулумы здесь: https://t.me/gonzo_ML_podcasts/4849