🚀 NVIDIA: “Massive performance leap” для MoE-инференса на Blackwell NVIDIA выкатили свежий разбор, как их инференс-стек на Blackwell (GB200/NVL72) резко ускоряет Mixture-of-Experts (MoE) модели — на примере DeepSeek-R1. Главная идея: MoE-модели дают топовое качество, но *только если* ты умеешь быстро и дешево “роутить” токены по экспертам. Blackwell + софт-оптимизации делают это реально промышленным. Что улучшают: - выше throughput на GPU (больше токенов/сек на железо) - ниже cost per token - оптимизации под sparse MoE (эксперты включаются не все) - акцент на “real-world” сценарии: не бенчмарки ради графиков, а прод-инференс под нагрузкой Почему это важно: MoE сейчас — это де-факто архитектура frontier-моделей. И гонка идет не только за качеством, а за тем, кто даст самый дешевый reasoning/token. https://developer.nvidia.com/blog/delivering-massive-performance-leaps-for-mixture-of-experts-inference-on-nvidia-blackwell/