用于加速自回归图像生成的推测解码退火松弛
计算机视觉与模式识别
2026-01-15 v1 人工智能
机器学习
摘要
尽管自回归图像生成取得了显著进展，但由于 AR 模型的序列特性和图像 token 的模糊性，即使使用推测解码，推理速度仍然缓慢。最近的工作试图通过松弛推测解码来解决这一问题，但缺乏理论基础。在本文中，我们建立了松弛推测解码的理论基础，并提出了 COOL-SD，一种基于两个关键见解构建的推测解码退火松弛方法。第一个见解分析了目标模型与松弛推测解码之间的全变差（TV）距离，并得出了最小化该距离上界的一个最优重采样分布。第二个见解使用扰动分析揭示了松弛推测解码中的退火行为，从而启发了我们的退火设计。这些见解共同使 COOL-SD 能够以可比的质量更快地生成图像，或在相似的延迟下实现更好的质量。实验验证了 COOL-SD 的有效性，在速度与质量的权衡上相比先前方法展现出持续的改进。
引用
@article{arxiv.2601.09212,
title = {Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation},
author = {Xingyao Li and Fengzhuo Zhang and Cunxiao Du and Hui Ji},
journal= {arXiv preprint arXiv:2601.09212},
year = {2026}
}
备注
Accepted to AAAI 2026