理解与改进免训练基于损失的扩散引导
机器学习
2024-05-30 v2 计算机视觉与模式识别
摘要
为预训练扩散模型添加额外控制已成为一个日益热门的研究领域，在计算机视觉、强化学习和科学人工智能中有着广泛应用。近期，一些研究提出了免训练的基于损失的引导方法，利用在干净图像上预训练的现成网络。这种方法能够实现通用控制格式的零样本条件生成，似乎在扩散引导中提供了“免费的午餐”。本文旨在深入理解免训练引导，并克服其局限性。我们从优化的角度提供了支持免训练引导的理论分析，将其与基于分类器（或无分类器）的引导区分开来。为阐明其缺点，我们从理论上证明，与分类器引导相比，免训练引导更容易受到对抗梯度的影响，并表现出更慢的收敛速度。随后，我们引入了一系列旨在克服这些局限性的技术，并附有理论依据和经验证据。我们在图像和运动生成上的实验证实了这些技术的有效性。
引用
@article{arxiv.2403.12404,
title = {Understanding and Improving Training-free Loss-based Diffusion Guidance},
author = {Yifei Shen and Xinyang Jiang and Yezhen Wang and Yifan Yang and Dongqi Han and Dongsheng Li},
journal= {arXiv preprint arXiv:2403.12404},
year = {2024}
}