Вышел PyTorch 2.15: быстрее LLM на Blackwell и Apple Silicon, больше контроля над распределённым обучением В релиз вошли 3117 коммитов от 583 участников. Что обновили: - Переписанный NCCL-бэкенд включён по умолчанию. При зависании коллективных операций диагностический «чёрный ящик» сохраняет данные для разбора. - Новый транспорт NIXL позволяет передавать данные между процессами без создания process group, с поддержкой захвата передач в CUDA Graphs. - FSDP2 и pipeline parallelism получили более гибкое управление памятью, точностью параметров и перекрытием коммуникаций с вычислениями. - NVIDIA Blackwell: NVGEMM ускоряет декодирование LLM в формате NVFP4, сокращая отдельные запуски ядер. - Apple Silicon: добавлены FP8 и публичный API torch.mps.Stream. В приведённых тестах на M3 Ultra пропускная способность MoE-декодирования выросла в 1,32–1,34 раза. - Платформы: CUDA 13.2 в стандартных сборках, дополнительные сборки с CUDA 13.4 и ROCm 10.0, поддержка torch.compile на Python 3.15. Перед обновлением: Python 3.10 больше не поддерживается, а для GPU-ускорения через MPS требуется macOS 15+. Часть новых API пока нестабильна. 5 ноября в 22:00 МСК команда проведёт онлайн-сессию вопросов и ответов по релизу. Регистрация - в статье. https://pytorch.org/blog/pytorch-2-15-release-blog/