EAGLE-Pangu：面向 Ascend NPU 的加速度器安全树状推断解码
机器学习
2026-03-10 v1 编程语言
摘要
自回归解码仍是大型语言模型（LLM）服务中的主要瓶颈，推动了通过验证多个候选 token 来减少昂贵教师模型调用的推断方法。树状推断进一步增加了并行度，但在移植到异构后端和加速器堆栈时常常脆弱，因为注意力掩码、KV 缓存布局和索引语义不可互换。我们提出的 EAGLE-Pangu 是一个可复现的系统，将 EAGLE-3 风格的树状推断移植到面向 Ascend NPU 的 Pangu 教师后端。EAGLE-Pangu 贡献于：（i）基于 Cache API 构建的显式分支/提交缓存管理器；（ii）消除未定义负索引并验证结构不变量的加速度器安全树张量化；（iii）兼容融合内核的教师验证路径，附带可调试的惰性后备。我们在 240 轮来自 MT-Bench 和 HumanEval 风格提示的测试中，EAGLE-Pangu 在融合内核性能路径下，相较于教师-only 贪心解码，以平均提升 1.27 倍，p99 时最高可达 2.46 倍。我们还提供一个无融合内核的参考路径，包含结构化跟踪和不变量检查，以支持跨执行模式和树预算的可复现调试和消融实验。
关键词
引用
@article{arxiv.2603.08088,
title = {EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs},
author = {Chang Han and Yijie Hu and Jingling Liu},
journal= {arXiv preprint arXiv:2603.08088},
year = {2026}
}
备注
14 pages. 7 figures