扩散模型的反馈引导
计算机视觉与模式识别
2025-10-10 v2
摘要
虽然 classifier-free guidance（CFG）已成为提高条件扩散模型样本保真度的标准方法，但它会因对特定样本是否需要纠正而恒定地施加引导而损害多样性并诱导记忆。我们提出 FeedBack Guidance（FBG），其使用基于需求的状态相关系数来自我调节引导强度。我们的做法从原理出发，假设所学的条件分布被无条件分布的线性扰动所破坏，这与 CFG 的隐式乘法假设不同。我们的方案依赖于对其自身关于条件信号信息性的预测反馈，以在推理期间动态调整引导。该方法挑战了将引导视为固定超参数的观点。该方法在 ImageNet512x512 上进行基准测试，其中它显著优于 classifier-free guidance，且与 Limited Interval Guidance（LIG）相当，同时受益于强大的数学框架。在文本到图像生成中，我们展示了，正如预期，our 方法会自动对复杂提示应用更高的引导比例，而对简单提示则应用更低的引导比例，并且可以轻松地与现有的引导方案如 CFG 或 LIG 结合在一起。
引用
@article{arxiv.2506.06085,
title = {Feedback Guidance of Diffusion Models},
author = {Felix Koulischer and Florian Handke and Johannes Deleu and Thomas Demeester and Luca Ambrogioni},
journal= {arXiv preprint arXiv:2506.06085},
year = {2025}
}
备注
Article accepeted as poster at the 39th Annual Conference on Neural Information Processing Systems (NeurIPS25). Code is available at: https://github.com/FelixKoulischer/FBG_using_edm2