改进掩码扩散中的无分类器引导：低维理论洞见与高维影响
机器学习
2026-03-04 v2 人工智能
机器学习
摘要
无分类器引导（CFG）是用于条件生成和改进连续扩散模型中样本质量的广泛使用技术，其扩展到离散扩散最近开始被研究。在原子层面上，为了以原则方式改进算法，本文首先分析了掩码扩散模型中CFG的确切效果，特别强调引导时间表。我们的分析表明，在样本质量方面，过早的高引导（当输入被严格掩码时）会损害生成质量，而晚期引导则会提高质量。这些发现为最近研究中关于引导时间表的经验观察提供了理论解释。分析还揭示了当前CFG实现的一个不完美之处。这些实现可能会无意中导致不平衡的转换，例如在生成早期阶段过快地取消掩码，这会降低结果样本的质量。为此，我们从分析中获得的见识提出了一种新的无分类器引导机制。直观地说，我们的方法平滑了数据分布与初始（掩码）分布之间的传输，从而提高了样本质量。惊人的是，我们的方法可以通过简单的一行代码更改来实现。在条件图像和文本生成上进行实验，实证结果证明了我们方法的有效性。
引用
@article{arxiv.2507.08965,
title = {Improving Classifier-Free Guidance in Masked Diffusion: Low-Dim Theoretical Insights with High-Dim Impact},
author = {Kevin Rojas and Ye He and Chieh-Hsin Lai and Yuhta Takida and Yuki Mitsufuji and Molei Tao},
journal= {arXiv preprint arXiv:2507.08965},
year = {2026}
}