自引导扩散模型
计算机视觉与模式识别
2023-11-28 v3 人工智能
机器学习
摘要
扩散模型在图像生成质量上取得了显著进展，尤其是在使用引导来控制生成过程时。然而，引导需要大量图像-标注对进行训练，因此依赖于它们的可用性、正确性和无偏性。在本文中，我们通过利用自监督信号的灵活性来设计自引导扩散模型框架，从而消除对此类标注的需求。通过利用特征提取函数和自标注函数，我们的方法在各种图像粒度上提供引导信号：从整体图像级别到目标框甚至分割掩码。我们在单标签和多标签图像数据集上的实验表明，自标注引导始终优于无引导的扩散模型，并且甚至可能超越基于真实标签的引导，尤其是在不平衡数据上。当配备自监督的框或掩码提议时，我们的方法进一步生成视觉上多样但语义一致的图像，而无需任何类别、框或分割标签标注。自引导扩散简单、灵活，并有望从大规模部署中获益。源代码将位于：https://taohu.me/sgdm/
引用
@article{arxiv.2210.06462,
title = {Self-Guided Diffusion Models},
author = {Vincent Tao Hu and David W Zhang and Yuki M. Asano and Gertjan J. Burghouts and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2210.06462},
year = {2023}
}
备注
CVPR 2023