消除扩散模型高指导尺度下的过饱和与伪影
机器学习
2025-06-04 v2 计算机视觉与模式识别
摘要
分类器自由引导（CFG）对于提高生成质量和输入条件与最终输出之间的对齐度至关重要。尽管高指导尺度通常需要以增强这些方面，但也会导致过饱和和不真实的伪影。在本文中，我们重新审视 CFG 更新规则，提出修改措施以解决此问题。我们首先将 CFG 中的更新项分解为相对于条件模型预测的平行分量和正交分量，发现平行分量主要导致过饱和，而正交分量则提升图像质量。因此，我们提出对平行分量进行降权，以实现无过饱和的高质量生成。此外，我们揭示了 CFG 与梯度上升之间的联系，基于这一洞见，我们提出一种新的 CFG 更新规则的尺度重缩放和动量方法。我们称之为自适应投影引导（APG），该方法保留了 CFG 的质量提升优势，同时允许使用更高的指导尺度而无需过饱和。APG 易于实现，对采样过程几乎没有额外的计算开销。通过大量实验，我们展示 APG 与各种条件扩散模型和采样器兼容，改进了 FID、召回率和饱和度分数，同时保持与 CFG 相当的精度，使其成为标准分类器自由引导的优越即插即用替代方案。
引用
@article{arxiv.2410.02416,
title = {Eliminating Oversaturation and Artifacts of High Guidance Scales in Diffusion Models},
author = {Seyedmorteza Sadat and Otmar Hilliges and Romann M. Weber},
journal= {arXiv preprint arXiv:2410.02416},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025