KnapSpec：基于背包问题的自主推测解码
机器人学
2026-02-25 v1
摘要
自主推测解码（SSD）通过跳过层次创建高效草稿模型以加速 LLM 推理，但现有方法常依赖忽略长上下文场景中注意力动态计算开销的静态启发式方法。我们提出 KnapSpec，一种将草稿模型选择问题形式化为背包问题以最大化 tokens-per-time吞吐量的训练-free框架。通过解耦注意力层和 MLP 层，模型化其硬件特定延迟随上下文长度的函数关系，KnapSpec 采用并行动态规划算法在运行时动态识别最优草稿配置。进一步，我们首次提供严格的理论分析，确立隐藏状态间余弦相似性作为令牌接受率的合理代理。这一基础允许方法在保持高草稿忠诚度的同时，导航实际硬件的动态瓶颈。我们在 Qwen3 和 Llama3 上的实验表明，KnapSpec 在各种基准上持续超过最先进的 SSD 基线方法，实现最高可达 1.47 倍的 wall-clock 加速。该插件即插即用的方法无需额外训练，即可为长序列推理提供高速性能，同时不损害目标模型的输出分布。
引用
@article{arxiv.2602.20216,
title = {Sample-Efficient Learning with Online Expert Correction for Autonomous Catheter Steering in Endovascular Bifurcation Navigation},
author = {Hao Wang and Tianliang Yao and Bo Lu and Zhiqiang Pei and Liu Dong and Lei Ma and Peng Qi},
journal= {arXiv preprint arXiv:2602.20216},
year = {2026}
}
备注
This paper has been accepted by IEEE ICRA 2026. 8 pages, 5 figures, 1 table