Анализ данных (Data analysis)

🚀 Tencent открыла AngelSpec - end-to-end фреймворк для speculative decoding AngelSpec покрывает весь цикл: обучение драфтеров, оптимизацию и развёртывание ускоренного инференса. На модели Hy3-A21B архитектура DFly показала: - ускорение генерации в 1,98–2,40 раза по сравнению с авторегрессионным декодированием; - стабильный прирост при конкурентности от 4 до 64 запросов; - пропускную способность на 10,5–11,8% выше, чем у DFlash. Опубликованы код обучения, документация и готовые веса MTP/DFly-драфтеров для Hy3-A21B. Репозиторий: https://github.com/Tencent/AngelSpec Статья: https://arxiv.org/abs/2607.25852 Документация: https://angelspec.readthedocs.io Модели: https://huggingface.co/collections/AngelSlim/angelspec https://modelscope.cn/collections/AngelSlim/AngelSpec #Hy3 #AngelSpec #OpenSource #LLM #Inference #SpeculativeDecoding