通过频谱弱化引导视觉自回归模型
计算机视觉与模式识别
2025-12-01 v1
摘要
分类无条件引导（CFG）已成为增强生成质量和提高条件对齐的广泛采用的实用方法。最近的研究探索了无条件生成的引导机制，但这些方法仍根本上依赖于扩散模型特有的假设。在本工作中，我们提出了一种用于视觉自回归（AR）模型的频谱弱化框架。该方法无需重新训练、无需特定条件或任何架构修改，即可实现。它通过构建频谱域中的可控弱模型来实现。我们理论上表明，可逆的频谱变换可保留信息，而仅保留频谱子集的选择性保留会引入受控的信息减少。基于此洞察，我们在内部表示的通道维度上进行频谱选择，这避免了扩散模型所施加的结构约束。我们进一步引入两种频谱重归一化策略，以确保弱化过程中的数值稳定性。对离散和连续 AR 模型进行了大量实验，涵盖文本或类别条件。结果表明，我们的方法实现了高质量的无条件生成，同时保持了强大的提示对齐用于条件生成。
引用
@article{arxiv.2511.22991,
title = {Guiding Visual Autoregressive Models through Spectrum Weakening},
author = {Chaoyang Wang and Tianmeng Yang and Jingdong Wang and Yunhai Tong},
journal= {arXiv preprint arXiv:2511.22991},
year = {2025}
}