FreeDoM：免训练的能量引导条件扩散模型
计算机视觉与模式识别
2023-03-20 v1
摘要
近来，条件扩散模型因其卓越的生成能力在众多应用中受到青睐。然而，许多现有方法需要训练。它们需要训练一个与时间相关的分类器或一个依赖于条件的分数估计器，这增加了构建条件扩散模型的成本，且不便于在不同条件间迁移。当前一些工作旨在通过提出免训练的解决方案来克服此限制，但大多数只能应用于特定类别的任务，而无法用于更一般的条件。在本工作中，我们提出了一种用于多种条件的免训练条件扩散模型（FreeDoM）。具体而言，我们利用现成的预训练网络（如人脸检测模型）来构建与时间无关的能量函数，从而在无训练需求的情况下引导生成过程。此外，由于能量函数的构建非常灵活且可适应各种条件，我们提出的 FreeDoM 比现有免训练方法具有更广泛的应用范围。FreeDoM 的优势在于其简单性、有效性和低成本。实验表明，FreeDoM 对多种条件均有效，并适用于包括图像与潜码域在内的不同数据域的扩散模型。
引用
@article{arxiv.2303.09833,
title = {FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model},
author = {Jiwen Yu and Yinhuai Wang and Chen Zhao and Bernard Ghanem and Jian Zhang},
journal= {arXiv preprint arXiv:2303.09833},
year = {2023}
}