gonzo-обзоры ML статей

Про Darwin Gödel Machine писали, про Huxley-Gödel Machine писали, а про Red Queen Gödel Machine не писали! Исправляемся. The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators Alex Iacob, Andrej Jovanović, William F. Shen, Daniel Burkhardt, Meghdad Kurmanji, Nurbek Tastan, Lorenzo Sani, Niccolò Alberto Elia Venanzi, Ambroise Odonnat, Zeyu Cao, Bill Marino, Xinchi Qiu, Nicholas D. Lane Paper: https://arxiv.org/abs/2606.26294 Review: https://arxiviq.substack.com/p/the-red-queen-godel-machine-co-evolving Code: N/A Model: N/A ЧТО сделали: Предложили эволюционный фреймворк, в котором обучаемые эвалюаторы развиваются параллельно с целевыми агентами. Это позволяет обойтись без статичных бенчмарков при рекурсивном самосовершенствовании. ЧТО получили: Добавление эволюционирующего ревьюера подняло pass rate на бенчмарке Polyglot с 69.9% до 71.7% при снижении расхода токенов в 1.35–1.72 раза по сравнению с Huxley-Gödel Machine. При написании научных статей авторы получили долю одобрений 38.8%–40.5% (в 1.78–1.86 раза выше бейзлайна с его 21.8%) по оценке нескольких рецензентов. Точность проверки доказательств достигла 76% (+9% к бейзлайну) при трёхкратной экономии токенов. ПОЧЕМУ это важно: Совместная эволюция судей и генераторов формирует динамический curriculum и отсекает предвзятость моделей к собственным текстам без ручной поддержки бенчмарков. При этом теоретические гарантии поиска действуют только внутри отдельных эпох и опираются на неизменные якорные датасеты. Бегать вместе с королевой здесь: https://t.me/gonzo_ML_podcasts/4813

Крутая команда авторов, включая фаундера Саканы Дэвида Ха, а также Себастиана Риси, выпустила книгу по нейроэволюции https://neuroevolutionbook.com/

За последние две недели слишком много новостей вокруг Jev, я решил собрать себе автообзор по разным источникам. Делюсь тем, что получилось, может быть это полезно не только мне. В один пост не влезло, пришлось разбить на три: 1. https://t.me/gonzo_ML_podcasts/4810 2. https://t.me/gonzo_ML_podcasts/4811 3. https://t.me/gonzo_ML_podcasts/4812

Рекуррентность как мы любим. Рекурсия по времени с сохранением состояния позволяет заметно срезать глубину модели. Temporal Recurrence Favors Fewer Layers Ivan Anokhin, Johan Obando-Ceron, Irina Rish, Sebastian Risi Paper: https://arxiv.org/abs/2609.12531 Review: https://arxiviq.substack.com/p/temporal-recurrence-favors-fewer Code: https://github.com/avecplezir/fewer-layers-with-rec Model: N/A ЧТО сделали: Исследовали взаимодействие временной рекуррентности с глубиной нейросетей, формализовав проектирование архитектур как задачу распределения ресурсов при фиксированном бюджете FLOPs на шаг. Авторы разработали модульный фреймворк Parallel Experts, охватывающий задачи обучения с подкреплением (RL) и языкового моделирования, и систематически сравнили рекуррентные архитектуры с бейзлайнами прямого распространения (feedforward), варьируя глубину шага, количество параллельных экспертов и ширину скрытых слоёв. ПОЧЕМУ это важно: Классическое глубокое обучение опирается на физическую глубину слоёв для построения последовательных трансформаций, что создаёт жёсткое бутылочное горлышко последовательного выполнения (serialization bottleneck) при прямом проходе и разворачивании градиентов во времени. Работа показывает: перенос выразительного скрытого состояния через шаги позволяет мелким (shallow) сетям не уступать глубоким моделям или даже превосходить их. Это даёт возможность эффективно перераспределить последовательную глубину в параллельную ширину без просадки в качестве. Для практиков: Если вы упираетесь в ограничения железа, глубокие стеки слоёв накладывают налог на последовательное исполнение, увеличивая задержку (latency) инференса и усложняя обучение рекуррентных моделей. На задачах со сложным планированием в Sokoban и предсказании следующего токена на FineWeb рекуррентные сети всего из 2–4 слоёв показали сопоставимое качество с 16–32-слойными feedforward-моделями при строго одинаковом бюджете вычислений. Это открывает дорогу к замене вертикальной глубины параллельными блоками для лучшей утилизации GPU и более быстрых циклов инференса. Срезать глубину здесь: https://t.me/gonzo_ML_podcasts/4809

Наверное все уже видели :) https://youtu.be/b34vwOWLDXI?is=w6CgC0s6qXXfJH9I

Ну, arxiv.org, берегись! Дороговато пока только. Но вопрос времени. ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI Jaehyun Nam, Jinsung Yoon, Yanzhou Pan, Yubo Wang, Rui Meng, Parthasarathy Ranganathan, Tomas Pfister Paper: https://arxiv.org/abs/2609.19644 Review: https://arxiviq.substack.com/p/scientisttwo-pioneering-the-human Code: https://scientist-two.github.io/ Model: N/A ЧТО сделали: Авторы представили ScientistTwo — полностью автономный мультиагентный фреймворк для научных исследований, закрывающий весь цикл: от формулировки проблемы до готовой к публикации статьи и исполняемого репозитория. Развивая идеи своей предыдущей верификационной системы ScientistOne, ScientistTwo объединяет структурированную диагностику ограничений базовых методов, ранжирование гипотез по новизне, поэтапный отбор от сабсетов к полным бенчмаркам, доработку идей на основе абляций, а также автоматизированный замкнутый цикл рецензирования и экспериментального ребаттала. На 107 задачах из принятых статей ICLR, ICML и NeurIPS система автономно улучшила 80.4% человеческих SOTA-бейзлайнов со средним относительным приростом в 25.2%, генерируя препринты, проходящие порог принятия на топ-конференции по оценкам агентных рецензентов. ПОЧЕМУ это важно: Предыдущие пайплайны автоматических открытий сводились либо к пассивному тюнингу гиперпараметров под единственную скалярную метрику на изолированном бенчмарке, либо страдали от нестабильности кода, скрытых компромиссов и галлюцинаций в тексте статей. ScientistTwo преодолевает разрыв между механической автоматизацией и академической строгостью: система изолирует причинно-следственный вклад каждого компонента через автоматические абляции и воспроизводит интерактивный процесс рецензирования, запуская дополнительные эксперименты в ответ на критику. Это наглядно показывает, что мультиагентные системы способны без вмешательства человека проводить многоэтапные доказательные исследования, формулируя, валидируя и защищая новые алгоритмические идеи. Для практиков: Для руководителей исследований и ML-инженеров ScientistTwo предлагает готовый чертёж автономной исследовательской лаборатории. Вместо того чтобы использовать LLM лишь как чат-ассистентов для кодинга или саммаризации текстов, ScientistTwo объединяет специализированных агентов в структурированный коллектив. Получив на вход статью с топ-конференции, система выявляет архитектурные изъяны метода, проектирует новые решения, пишет и отлаживает код, подтверждает выигрыш на нескольких датасетах, изолирует источник улучшений с помощью абляций, оформляет статью и защищает её перед симулированными рецензентами новыми экспериментами. Результат в 80.4% успешных решений на более чем сотне задач машинного обучения задаёт новую планку в автоматизации полного цикла эмпирических исследований. Генерировать статьи тут: https://t.me/gonzo_ML_podcasts/4808

Красивое https://epoch.ai/publications/the-plunging-price-of-thought

Любопытный анализ того, как агенты помогают в работе по улучшению себя. Atria Dawn: The Dawn of Agentic Superintelligence. On the Evolving Roles of Human–AI Collaboration Honglin Guo, Tao Gui, Kun Cai, Haodong Chen, Yicheng Chen, Guanting Dong, Qiming Ge, Yuyang Hu, Zixian Huang, Jiajie Jin, Alexander Lam, Yining Li, Jiahang Lin, Yanjiang Liu, Xinyu Lu, Haijun Lv, Zerun Ma, Junlin Shang, Qisheng Su, Guoqiang Wang, Rui Wang, Zhecan Wang, Hao Xiang, Xinchen Xie, Shuhao Xing, Xiaoyu Xing, Wanghan Xu, Xinyu Yang, Yajie Yang, Chengfeng Zhao, Haoran Zhao, Penghao Zhao, Ruojun Zhou, Yunhua Zhou, Dongsheng Zhu, Yicheng Zou, Qiye Cai, Xinmeng Che, Jiabei Chen, Jiahao Chen, Jiayi Chen, Yujia Chen, Lizhi Cui, Youheng Dai, Xin Deng, Yi Dong, Shihan Dou, Chenya Gu, Xu Guo, Ding Han, Feiyang Hao, Haotan He, Jie Hou, Binze Hu, Zijian Hu, Junhao Huang, Huicheng Jiang, Jiazhen Jiang, Shufan Jiang, Jiahao Kuang, Bowen Lai, Bo Li, Jiaqiang Li, Peng Li, Qilong Li, Zhuoqun Li, Jiaxiang Liu, Shuainan Liu, Tong Liu, Yi Liu, Zhonghang Lu, Jianwen Luo, Yanyi Luo, Huijie Lv, Ningsheng Ma, Houcheng Min, Chengjun Pan, Qiyuan Peng, Xiaoxuan Peng, Jianmin Qian, Jiantao Qiu, Wanying Ren, Huayu Sha, Jifei Shan, Zixin Shang, Bing Shao, Zhuohui Sheng, Jiayang Shi, Yang Shu, Aierpanjiang Simayi, Sirui Song, Yuxiao Song, Zhe Sun, Zhichao Sun, Wenzhe Tan, Wenhui Tian, Zhongbo Tian, Hanchen Wang, Pengbo Wang, Rui Wang, Yiding Wang, Yuhui Wang, Zhiheng Xi, Caijun Xu, Chao Xu, Yongfeng Xu, Xiaolei Yang, Zhixiong Yang, Qian Yao, Shihong Yi, Yuankai Ying, Jia Yu, Dingbo Yuan, Hao Yuan, Junjie Yuan, Bo Zhang, Caixian Zhang, Qiuyinzhe Zhang, Jiyuan Zhao, Ying Zhao, Pujun Zheng, Xiaoxue Zhong, Xiaohao Zhou, Xinyu Zhou, Guanru Zhu, Yulun Zhu, Yaojie Lu, Tao Ji, Hongyu Lin, Yutao Zhu, Pengfei Cao, Guoxiu He, Xianpei Han, Ben He, Zhicheng Dou, Kang Liu, Qi Zhang, Le Sun, Jun Zhao, Ji-Rong Wen, Xuanjing Huang, Yu-Gang Jiang, Bowen Zhou (Atria Team) Paper: https://arxiv.org/abs/2609.15818 Review: https://arxiviq.substack.com/p/atria-dawn-the-dawn-of-agentic-superintelligence Code: https://github.com/atria-asi/Atria-Dawn-Preview Model: https://huggingface.co/internlm/Atria-Dawn-Preview ЧТО сделали: Авторы представили Atria Dawn Preview — агентную модель-основу на базе mixture-of-experts (MoE) размером 744 миллиарда параметров. Модель обучена с помощью пайплайна верифицируемого опыта (Verifiable Experience Pipeline), который заземляет промежуточные вызовы инструментов, траектории состояний и созданные артефакты на детерминированные внешние проверки. Параллельно авторы провели эмпирическое исследование совместной исследовательской работы людей и ИИ, проанализировав 769 реальных задач разработки от 56 исследователей непосредственно в ходе создания этой модели. ПОЧЕМУ это важно: Хотя современные LLM стремительно прогрессируют на изолированных бенчмарках по программированию и рассуждениям, их реальная способность автономно вести научные разработки и осуществлять рекурсивное самосовершенствование на проде оставалась малоизученной. Работа доказывает: хотя базовые агенты способны самостоятельно предлагать большинство алгоритмических методов и реализовывать длинные цепочки задач, человек-исследователь по-прежнему выполняет незаменимую функцию когнитивной фильтрации — формулирует проблемы, диагностирует сложные системные регрессии и уводит поиск от коллективных слепых зон моделей. Для практиков: Лидерам исследований, инженерным директорам и стратегам статья даёт детальное понимание того, как передовые модели обучаются и разрабатываются с помощью других ИИ-агентов. Современные агентные системы больше не ограничиваются написанием отдельных функций или суммаризацией статей: они выступают коллегами проектного уровня, способными писать работающие операционные системы, агрегировать огромные потоки сенсорных данных и оптимизировать низкоуровневые GPU-кернелы. Однако эта автономия не вытесняет исследователей. Напротив, роль человека смещается от ручного кодинга к высокоуровневой оценке, критическому принятию решений и согласованию целей, подтверждая, что рекурсивное самосовершенствование требует строгого институционального контроля, автоматической верификации и человеческого суждения. Уулчшать тут: https://t.me/gonzo_ML_podcasts/4807