频域引导实现低 CFG 规模下的高保真采样
机器学习
2025-06-25 v1
摘要
无条件扩散模型中的分类器自由引导 (CFG) 已成为不可或缺的组成部分。尽管在实际应用中效果显著，但 CFG 如何提升质量、细节和提示对齐方面的机制尚未完全理解。我们提出了一种新视角，通过分析 CFG 在频域中的效果，显示低频和高频对生成质量具有不同影响。具体而言，低频引导主导全局结构和条件对齐，而高频引导主要增强视觉保真度。然而，对所有频率统一应用比例尺 —— 即标准 CFG 所做的事情 —— 会导致在高比例尺下产生过饱和和降低多样性，在低比例尺下导致视觉质量下降。基于这些洞见，我们提出了频率解耦引导 (FDG) 方法，通过分解 CFG 为低频和高频分量并对每个分量分别应用引导强度来实现。FDG 在低引导比例尺下提升图像质量，凭借设计避免了高 CFG 比例尺的缺点。通过多个数据集和模型的大量实验，我们证明 FDG 在保持多样性的同时持续提升样本保真度，显著改善 FID 和召回指标，使其成为标准分类器自由引导的即插即用替代方案。
引用
@article{arxiv.2506.19713,
title = {Guidance in the Frequency Domain Enables High-Fidelity Sampling at Low CFG Scales},
author = {Seyedmorteza Sadat and Tobias Vontobel and Farnood Salehi and Romann M. Weber},
journal= {arXiv preprint arXiv:2506.19713},
year = {2025}
}