Cactus：基于受限接受性推测采样加速自回归解码

推测采样 (SpS) 通过利用较小的草稿模型成功地加快了自回归大语言模型的解码吞吐量。SpS 严格强制生成的分布与验证器 LLM 的分布相匹配。这一要求显得过于严格，因为对验证器分布的轻微变动（例如使用 top-$k$ 或温度采样）也同样可接受。典型的接受采样 (TAS) 通过基于熵的启发式方法接受更多的 token，但这种方法会扭曲验证器分布，可能在验证器编码关键信息时降低输出质量。本文通过约束优化的视角形式化推测采样算法。基于此表述，我们提出了 Cactus (constrained acceptance speculative sampling)，一种保证控制与验证器分布的发散程度并提高接受率的方法。广泛的基准测试结果证明了该方法的有效性。