SJD++：改进的推测雅可比解码，用于训练无关加速离散自回归文本到图像生成
计算机视觉与模式识别
2025-12-09 v1
摘要
大型自回归模型可以生成高质量、高分辨率图像，但其生成速度缓慢，因为这些模型在推理过程中需要数百到数千次顺序前向传播来进行下一个token的预测。为加速自回归文本到图像生成，我们提出推测雅可比解码++（SJD++），一种训练无关的概率并行解码算法。与传统的下一token预测不同，SJD++在每次前向传播中执行多token预测，大幅减少了生成步骤。具体而言，它将雅可比解码中的迭代多token预测机制与推测采样中的概率草稿-验证机制相结合。更重要的是，为进一步加速，SJD++在每次验证阶段后复用高置信度草稿token，而非重新采样所有token。我们在多个代表性自回归文本到图像生成模型上进行了广泛实验，结果表明SJD++实现了2倍至3倍的推理延迟降低和2倍至7倍的步骤压缩，同时保持了视觉质量且无明显退化。
引用
@article{arxiv.2512.07503,
title = {SJD++: Improved Speculative Jacobi Decoding for Training-free Acceleration of Discrete Auto-regressive Text-to-Image Generation},
author = {Yao Teng and Zhihuan Jiang and Han Shi and Xian Liu and Xuefei Ning and Guohao Dai and Yu Wang and Zhenguo Li and Xihui Liu},
journal= {arXiv preprint arXiv:2512.07503},
year = {2025}
}