NVIDIA ускорила Mamba-2 до 1,82 раза с помощью Python и CUDA Tile NVIDIA и Jane Street оптимизировали вычисления Mamba-2, используя CUDA Tile (cuTile) - Python DSL для разработки высокопроизводительных GPU-ядер. Результат: новые CUDA-ядра работают в 1,14-1,82 раза быстрее реализации на Triton. Причём преимущество растёт вместе с длиной последовательности и размером состояния. Оптимизация затрагивает три операции: - chunk_cumsum - вычисляет накопленные значения затухания внутри блоков. - fwd_pass_state - обновляет скрытое состояние с использованием Tensor Cores. - compute_out - объединяет несколько вычислений в одно ядро, сокращая обращения к глобальной памяти. Тестирование проводили на NVIDIA B300 Blackwell Ultra с последовательностью из 16 384 токенов. cuTile позволяет писать GPU-ядра на Python, а компилятор самостоятельно оптимизирует распределение вычислений и использование аппаратных возможностей GPU. Mamba-2 использует рекуррентное состояние фиксированного размера вместо классического хранения всей истории внимания. Это делает эффективную реализацию особенно интересной для длинных последовательностей. Есть оговорка: ускорение измеряли на уровне forward-pass ядер. Это не означает, что вся модель или полный цикл обучения стали быстрее в 1,82 раза. Статья NVIDIA: https://developer.nvidia.com/blog/accelerating-mamba-2-with-high-performance-forward-pass-kernels-in-nvidia-cuda-tile/ Код и бенчмарки: https://github.com/KnowingNothing/TileGym