TETRIS：批量投机解码的最优草稿标记选择
计算与语言
2025-06-02 v2 人工智能
摘要
我们提出 TETRIS 方法，优化多请求设置下批量投机解码的总吞吐量。不同于针对单个请求或整组请求优化的现有方法，TETRIS 会主动选择每个请求在批量中最有希望被接受的草稿标记，从而减少被拒绝的标记，提高资源利用效率。这一高效资源利用对于推断容量有限的服务提供商尤为重要。相较于基线投机解码，TETRIS 在接受率和有限推断容量利用率方面持续表现更佳。我们从理论和实证角度表明，TETRIS 优于基线投机解码和现有动态选择草稿标记的方法，在大语言模型(LLMs)中实现更高效的批量推理。
引用
@article{arxiv.2502.15197,
title = {TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding},
author = {Zhaoxuan Wu and Zijian Zhou and Arun Verma and Alok Prakash and Daniela Rus and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2502.15197},
year = {2025}
}
备注
17 pages, 11 figures, 5 tables