🌟 Inclusion AI предложила метод спекулятивного декодирования с параллельной сборкой дерева черновиков Метод UBTree ускоряет вывод больших языковых моделей. Спекулятивное декодирование поручает черновик небольшой модели, а целевая проверяет сразу несколько предложенных токенов одним проходом и принимает их до первой ошибки. UBTree относится к той же семье параллельных драфтеров, что DFlash и DSpark, и закрывает их недостаток - они предлагают весь блок токенов одновременно и потому работают быстро, но на размытых распределениях целевой модели, где несколько продолжений близки по вероятности, угадывают хуже. Черновик в UBTree собирается двумя параллельными проходами: 🟢первый делает модель DFlash, которая подбирает по 64 варианта токена на каждую из шестнадцати позиций блока, причём каждую позицию считает независимо от соседних; 🟢биграммный селектор оценивает, насколько один вариант годится в продолжение другому: пару соседей он прогоняет через два небольших перцептрона поверх замороженных эмбеддингов целевой модели, отдельно для предшественника и для последователя, и добавляет полученную оценку к оценке DFlash с весом, зависящим от глубины. Все пары считаются одновременно, из оценок переходов набирается дерево на 64 узла, и целевая модель проверяет его целиком за один проход. Селектор обучали на откликах, перегенерированных при высокой температуре, с перенормированной KL-функцией потерь - так в разметку попадают не только самые вероятные продолжения, но и правдоподобные альтернативы, за счёт которых дерево чаще совпадает с выбором целевой модели. Вместе с методом выложены две черновые модели - Ling3-Tiny-UBTree на 183 млн параметров работает в паре с Ling-3.0-tiny (8 млрд параметров, 1 млрд активных), Ling3-Flash-UBTree на 482 млн - с Ling-3.0-flash (124 млрд, 5 млрд активных). Они ничего не генерируют и нужны только как драфтеры к своей целевой модели. 🟡 Тесты На семи тестах, от GSM8K и AIME до LiveCodeBench и MT-Bench, UBTree даёт среднее ускорение 6,88× на Qwen3-4B и 6,94× на Qwen3-8B и опережает ближайший древовидный метод DARTree во всех 28 сравнениях, в среднем на 7,4-13,4%. В SGLang на Ling3-Flash-124B выходит 3,27× против 2,73× у DSpark и 2,80× у DFlash, на Qwen3.8-27B - 4,78× против 4,32× у DSpark. На длинном контексте LongBench-v2 число принятых за раунд токенов выше, чем у сильнейшего из конкурентов, на 31,0-39,7%. Поддержка UBTree для Ling3 в SGLang пока не опубликована. Команда обещает дополнительные черновые модели в течение месяца. 📌Лицензирование: MIT 🟡Страница проекта 🟡Набор моделей 🟡Техотчет @ai_machinelearning_big_data #AI #ML #LLM #Decoding #UBTree #InclusionAI