gonzo-обзоры ML статей

В работе с таблицами, кажется, случается свой Jev-moment — вышла новая маленькая и быстрая фундаментальная табличная модель, которая бьёт всех на zero-shot, одновременно работая с классификацией и регрессией. Почему обычные LLM плохи на таблицах мы обсуждали здесь. TabPFN-3.5: Technical Report Prior Labs Team (Benjamin Jäger, Nick Erickson, Léo Grinsztajn, Felix Birkel, Klemens Flöge, Lennart Purucker, Arthur Cahu, Vahid Balazadeh, Jonas Kübler, Alan Arazi, Philipp Jund, Siyuan Guo, Anurag Garg, Jan Hendrik Metzen, Mihir Manium, Jake Robertson, David Salinas, Andrej Tschalzev, Simon Bing, Adrian Hayler, Tobias Schröder, Oscar Key, Brendan Roof, Georg Grab, Simone Alessi, Dominik Safaric, Eliott Kalfon, Philipp Singer, Clara Cornu, Diana Kriuchkova, Lilly Wehrhahn, Tuana Çelik, Vitor Monteiro, Rylee Grace, Adèle Frankel, Kürşat Kaya, Kristina Collins, Lydia Sidhoum, Marie Salmon, Tomás Pereda, Jerry Chen, Madelon Hulsebos, Yann LeCun, Bernhard Schölkopf, Frank Hutter, Sauraj Gambhir, Noah Hollmann) Paper: https://arxiv.org/abs/2609.17895 Review: https://arxiviq.substack.com/p/tabpfn-35-technical-report Code: https://github.com/PriorLabs/TabPFN Model: https://huggingface.co/Prior-Labs/tabpfn_3_5 ЧТО сделали: Представили TabPFN-3.5 — базовую модель для табличных данных, работающую без подбора весов под конкретный датасет. Авторы расширили скрытую размерность трансформера до 1024, объединили классификацию и регрессию в одной сети и заменили внешний препроцессинг обучаемыми признаками Фурье и ранжированием по эмпирическому распределению. ЧТО получили: TabPFN-3.5 заняла первое место на семи табличных бенчмарках со средним винрейтом 78% против конкурирующих табличных базовых моделей и 89% против классических алгоритмов. На TabArena модель набрала 1866 Elo (а TabPFN-3.5-Thinking — 1910 Elo) против 1780 у TabFM и 1631 у TabPFN-3. На TALENT средний ранг составил 2.95 на 274 датасетах против 5.35 у TabICLv2 и 4.48 у TabPFN-3. ПОЧЕМУ это важно: Инженеры получают zero-shot инференс быстрее секунды на сложных таблицах со строками и групповыми сплитами без подбора гиперпараметров. При этом нативная мультимодальность и максимальная скорость инференса остаются закрытыми enterprise-решениями. Зирошотить таблицы здесь: https://t.me/gonzo_ML_podcasts/4817

Команда из DeepMind продолжает поиски сознания. From cacophony to hierarchy: a principled framework for assessing AI consciousness Shamil Chandaria, Arvo Muñoz Morán, Fernando Rosas, Anil Seth, Henry Shevlin, Marcus Hutter, Thore Graepel, Adam Bales, Iulia Comşa, Murray Shanahan, Ruben Laukkonen, Morten Kringelbach, Chris Frith, Shane Legg Paper: https://arxiv.org/abs/2609.35618 Code: https://github.com/arvomm/cacophony-public-code Review: https://arxiviq.substack.com/p/from-cacophony-to-hierarchy-a-principled Site: https://ai-cognition.org/cacophony-tool/ Model: N/A ЧТО сделали: Авторы формализовали оценку сознания машин, объединив конкурирующие теории в пятиуровневую иерархию функциональных описаний с помощью многоуровневой байесовской сети. ЧТО получили: На открытых данных о LLM оптимистичный взгляд даёт итоговую апостериорную вероятность 0.397, а скептический — 0.005 при равных весах уровней. Если назначить по 40% веса верхним уровням, оптимистичная вероятность вырастает до 0.793. Если же отдать по 40% детальным организменным уровням, она падает до 0.099. Для человека при любых весах получается 1.000, а для термостата — 0.000. ПОЧЕМУ это важно: Метод позволяет количественно учитывать неопределённость и избегать субъективных вердиктов по мере роста автономности моделей. Главная оговорка: все индикаторы откалиброваны по маркёрам человеческого мышления, поэтому остаётся риск ложноположительных срабатываний из-за подражания. Искать сознание тут: https://t.me/gonzo_ML_podcasts/4816

(poll without text)

Экспонента в статьях, экспонента в коде, что ещё? Какой прекрасный толк :) https://youtu.be/vDjW_dRyKXY?is=opUGqNWz7C7CngDp

Нормальный скачок за три месяца. Слава AI!

Arxiv ввёл rate limits на публикацию, не больше двух статей в месяц :) https://blog.arxiv.org/2026/10/01/updated-rate-limit-policy/

Ещё свежая математическая статья про динамику оптимизации и важность факторизации матриц внимания. High-Dimensional Learning Dynamics of Attention-Indexed Models Yizhou Xu, Margarita Sagitova, Lenka Zdeborová, and Florent Krzakala Paper: https://arxiv.org/abs/2609.03858 Review: https://arxiviq.substack.com/p/high-dimensional-learning-dynamics Code: N/A Model: N/A ЧТО сделали: Авторы построили макроскопическую теорию динамики обучения для моделей с механизмом внимания в пределе высокой размерности, где матрицы внимания обладают экстенсивным рангом, растущим прямо пропорционально размерности эмбеддингов d. В то время как асимптотический популяционный лосс полностью определяется компактным конечномерным набором следовых параметров порядка, онлайн-SGD индуцирует бесконечномерную иерархию зацепленных матричных моментов. Эту иерархию строго описывает система детерминированных ОДУ, а усечения конечного порядка аппроксимируют её с экспоненциальной точностью. Опираясь на полученный аппарат, авторы доказали, что параметризация внимания работает как архитектурный implicit bias: связывание весов (S = WW^T) запускает автоматическое нарушение симметрии и обеспечивает слабое восстановление учителя за Θ(d^2 log d) шагов по выборке, тогда как раздельное внимание (S = UV^T) демонстрирует двухмасштабную релаксацию, где успех восстановления всецело зависит от того, сможет ли быстрый дрейф средних разрушить неинформативную симметрию студента. ПОЧЕМУ это важно: Классический теоретический анализ механизмов внимания обычно скатывается в одно из двух упрощений: либо игнорирует термодинамический предел высокой размерности, либо искусственно ограничивает ранг матриц внимания константой Θ(1). В современных же моделях эффективный ранг растёт вместе с пространством представлений. Настоящая работа переносит методы математической физики на современные архитектуры трансформеров и доказывает: факторизация матриц внимания — это не просто удобная перепараметризация общего ландшафта функции потерь, а фундаментальная смена траекторий градиентного спуска. Она превращает узкие горлышки оптимизации в проходимые сценарии обучения признаков за счёт архитектурного нарушения симметрии. Для практиков: Теория долго не могла строго объяснить, как трансформеры на этапе предобучения выбираются из неинформативных начальных состояний, поскольку исследовала игрушечные низкоранговые матрицы. Если ранг реалистичен и растёт вместе с размерностью, статический ландшафт функции потерь выглядит просто, но реальная траектория оптимизатора бесконечномерна. Выбранный способ факторизации проекций выступает скрытым регуляризатором: связывание весов (S = WW^T) принуждает оптимизатор автоматически разрушать непродуктивные симметрии и быстро выучивать фичи, тогда как раздельные проекции (S = UV^T) расщепляют динамику на сверхбыстрое выравнивание средних и медленное обучение признаков, гарантированно срабатывающее лишь при удачной конфигурации пограничного слоя. Погружаться тут: https://t.me/gonzo_ML_podcasts/4815

(poll without text)

Снова про теорию генерализации и гроккинга. Много математики для желающих :) A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay Yuqing Wang, Ioannis G. Kevrekidis, Mikhail Belkin Paper: https://arxiv.org/abs/2609.07755 Review: https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization ЧТО сделали: Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе. Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний. В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking). ПОЧЕМУ это важно: Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение. Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок. Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией. Для практиков: На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг. Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах. Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства. Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения. Подводить базу здесь: https://t.me/gonzo_ML_podcasts/4814

Скажите вообще, насколько такой формат про Jev был полезен? Что хорошо, что плохо, что надо улучшить или сделать по-другому? Есть ещё какие-то темы, которые стоило бы прогнать так же?

Вдогонку про Jev, вот чуваки начали собирать каталог применений и прочего: https://github.com/AnotiaWang/awesome-jev