580 токенов в секунду на Qwen3.5 - новый рекорд для агентских задач на GPU NVIDIA. PyTorch Foundation опубликовали разбор оптимизации Qwen3.5 в движке инференса TokenSpeed. Цифра скорости света - 580 tps на агентских ворклоадах. Под капотом: дизайн, реализация и тюнинг моделей в TokenSpeed, плюс FlashAttention-4 от Tri Dao. Над релизом работали инференс-команда Alibaba Qwen, TokenSpeed от Lightseek Foundation, NVIDIA и Mooncake. Кому интересно, как именно выжали такую пропускную способность - блог по ссылке.