SkipVAR：通过自适应频率感知跳跃加速视觉自回归建模
计算机视觉与模式识别
2025-07-11 v3
摘要
近期关于视觉自回归（VAR）模型的研究指出，生成过程中的高频成分或后续步骤对推理延迟贡献不成比例。然而，这些步骤中涉及的底层计算冗余尚未得到彻底研究。在本文中，我们对 VAR 推理过程进行了深入分析，识别出两个主要的低效来源：步骤冗余和无条件分支冗余。为解决步骤冗余，我们提出了一种自动步骤跳跃策略，选择性地省略不必要的生成步骤以提高效率。对于无条件分支冗余，我们观察到条件分支与无条件分支之间的信息差距极小。基于这一洞察，我们引入无条件分支替换技术，通过绕过无条件分支来降低计算成本。值得注意的是，加速策略的有效性在不同样本间差异显著。基于此，我们提出 SkipVAR，一个基于频率信息的样本自适应框架，为每个实例动态选择最合适的加速策略。为评估高频信息的作用，我们引入了高变化基准数据集以测试模型对细粒度细节的敏感性。大量实验表明，SkipVAR 在保持模型质量的同时实现了超过 0.88 的平均 SSIM 以及最高 1.81 倍的整体加速和 2.62 倍的 GenEval 基准加速。这些结果证实了基于频率感知、无需训练的加速策略在可扩展自回归图像生成中的有效性。我们的代码已发布于 https://github.com/fakerone-li/SkipVAR 并公开可用。
引用
@article{arxiv.2506.08908,
title = {SkipVAR: Accelerating Visual Autoregressive Modeling via Adaptive Frequency-Aware Skipping},
author = {Jiajun Li and Yue Ma and Xinyu Zhang and Qingyan Wei and Songhua Liu and Linfeng Zhang},
journal= {arXiv preprint arXiv:2506.08908},
year = {2025}
}