Давно мы ничего из направления MLSys не разбирали. Прикольная работа про поиск тихих багов при компиляции графов вычислений через XLA. Такие тихие баги — одни из худших, технически всё работает и ничего не падает, но результаты расчётов неверны. А должно быть как со стартапами, Fail Fast, иначе потратишь впустую кучу сил (а здесь на обучении ещё и миллионы долларов). Авторы встроили дифференциальный фаззинг прямо в автотюнер производительности: он и так гоняет разные варианты компиляции ядра в поисках самого быстрого, а теперь заодно сверяет их ответы с дефолтным слитым ядром (а при поиске бага внутри графа — и с неслитым эталоном). Получается практически бесплатный поиск проблем. Здесь это для TPU, но подход в целом-то универсальный. Отловили в проде 142 бага. Крутой результат. XLA from the Trenches: Correctness on TPU Workloads at Scale Ignacio Cano, Amir Saadat, Rishipal Singh Bhatia, Samuel Ginzburg, Patrick C. Toulme, Ioannis Zarkadas, Praveen Narayanan, Pratik Bhatu, Nicolas Basile, Alexander Dietmuller, Ruishan Wang, Jacob Wahlgren, Victor Barros, Subhankar Shah, Michael Kuperstein, Farzin Houshmand, Emma Sevastian, Peter Gavin, Karthik Srinivasa Murthy, Berkin Ilbeyi, Amit Sabne, Eli Bendersky Paper: https://arxiv.org/abs/2611.00624 Review: https://arxiviq.substack.com/p/xla-from-the-trenches-correctness Code: https://github.com/openxla/xla/blob/main/docs/hlo_isolation.md Главное: Автотюнеры производительности сами проверяют граничные режимы компилятора, где прячутся тихие численные баги. Дифференциальные проверки внутри автотюнинга и пошаговое чтение регистров внутри слитых ядер ловят ошибки компиляции, пропускаемые миллионами статических тестов. ЧТО сделали: Авторы представили систему верификации и диагностики для компилятора Google XLA:TPU, переводящего графы машинного обучения в машинный код TPU. Она объединяет генерацию синтетических программ, дифференциальные проверки при ежедневном автотюнинге кластера, рой ИИ-агентов для написания патчей и двухэтапный изолятор, пошагово читающий аппаратные векторные регистры внутри слитых ядер. ЧТО получили: На кластерах TPU в Google система помогла устранить более 142 багов компилятора, пропущенных в CI. Из них 43% находились в низкоуровневых генераторах кода для векторных регистров и памяти, а не в высокоуровневых преобразованиях графа. ПОЧЕМУ это важно: Команды, использующие автотюнеры, могут почти без лишних затрат на железо добавить непрерывную проверку корректности, а разработчики компиляторов — отлаживать слитые ядра без их разбиения, маскирующего баг. Однако статья объединяет все 142 бага без абляций по компонентам, а недетерминированные гонки памяти остаются за рамками метода. Искать гейзенбаги тут: https://t.me/gonzo_ML_podcasts/4847