基于 Classifier-free Gibbs-like Guidance 的条件扩散模型
机器学习
2025-05-28 v1 统计方法学
摘要
Classifier-free Guidance (CFG) 是一种广泛用于改进条件扩散模型的技术，通过线性组合条件去噪器和无条件去噪器的输出来实现。虽然 CFG 能提高视觉质量并提高提示词与生成结果的一致性，但会降低样本多样性，导致在质量与多样性之间面临困难的权衡。为此，我们做出两个关键贡献。首先，CFG通常并不对应一个明确定义的去噪扩散模型 (DDM)。特别是，与普遍直觉相反，CFG在噪声水平逼近零时，不会产生来自限制 CFG 情得分数所对应的目标分布的样本——该数据分布被一种 的条件分布的幂次方所倾斜。我们识别了缺失的组成部分：一个 R\'enyi 散度项，它充当排斥力，需用于纠正 CFG 以使其与proper DDM一致。我们的分析表明，在低噪声极限下，这一校正项消失。其次，受此启发，我们提出一种Gibbs-like抽样程序，用于从所需的倾斜分布中抽取样本。该方法以无 CFG 的条件扩散模型的初始样本为起点，迭代细化该样本，在保持多样性的同时逐步提升样本质量。我们在图像和文本到音频生成任务上对方法进行了评估，结果在所有考虑的指标上都显著优于 CFG。代码已在 https://github.com/yazidjanani/cfgig 上提供。
引用
@article{arxiv.2505.21101,
title = {Conditional Diffusion Models with Classifier-Free Gibbs-like Guidance},
author = {Badr Moufad and Yazid Janati and Alain Durmus and Ahmed Ghorbel and Eric Moulines and Jimmy Olsson},
journal= {arXiv preprint arXiv:2505.21101},
year = {2025}
}
备注
preprint