面向视觉自回归模型的SoftCFG：不确定性引导的稳定指引
计算机视觉与模式识别
2025-10-03 v2
摘要
自回归（AR）模型已成为通过将图像建模为离散标记序列来进行图像生成的强大工具。虽然已采用Classifier-Free Guidance（CFG）以改进条件生成，但其在AR模型中的应用面临两个关键问题：指引消失，即条件-无条件差距在解码过程中迅速消失；过度指引，导致强条件扭曲视觉一致性。为此，我们提出SoftCFG——一种不确定性引导的推理方法，将适应性扰动分布到序列中所有标记。SoftCFG的核心思想是让每个生成标记贡献确定性加权的指引，确保信号在步骤之间持续存在，同时解决文本指引与视觉上下文之间的冲突。为进一步稳定长序列生成，我们引入了步骤规范化，该方法限制了SoftCFG的累积扰动。我们的方法无需训练、模型不可知，并且无缝集成到现有AR管道中。实验表明，SoftCFG显著优于标准CFG提高图像质量，并在ImageNet 256*256上实现了自回归模型的最新FID分数。
引用
@article{arxiv.2510.00996,
title = {SoftCFG: Uncertainty-guided Stable Guidance for Visual Autoregressive Model},
author = {Dongli Xu and Aleksei Tiulpin and Matthew B. Blaschko},
journal= {arXiv preprint arXiv:2510.00996},
year = {2025}
}
备注
preprint