🚀 PyTorch выходит за рамки квантизации: теперь с **Sparse Inference** Новый виток оптимизации - разреженный вывод в PyTorch. Это означает: меньше памяти, выше скорость, без необходимости менять архитектуру модели. 🔍 Что такое Sparse Inference? Разреженность - это когда в весах и активациях модели большинство значений обнулены (например, 80–90%). Теперь PyTorch умеет: - 📦 Использовать N:M разреженность (например, 2:4 sparsity) - ⚡ Ускорять инференс на GPU и CPU - 🧠 Поддерживать это в torch.compile() и torch.export 🧠 Как это работает? 1. Модель обнуляется с помощью Pruning / Structured Sparsity 2. Преобразуется через torch.sparse.to_sparse() или torch.export 3. Запускается через TorchInductor + XNNPACK или CUTLASS 🔧 Что поддерживается: - 🖥️ CPU (x86, M1/M2) — через XNNPACK backend - ⚙️ GPU (Ampere+) — через CUTLASS - 🔁 Интеграция с torch.compile() (TorchInductor) 💡 Почему это важно? - 📉 Меньше память → меньше latency на edge-устройствах - 🚀 Выше производительность без компромиссов - 🔧 Удобно встраивается в текущий PyTorch-пайплайн 👉 Подробнее:https://pytorch.org/blog/beyond-quantization-bringing-sparse-inference-to-pytorch/