基于对抗噪声的扩散模型高效迁移学习
计算机视觉与模式识别
2023-08-24 v1
摘要
扩散概率模型（DPMs）在图像生成任务中展现出巨大潜力，但严重依赖大量训练数据的可用性。先前工作如 GANs 通过迁移以充足数据预训练的模型来解决数据有限问题。然而，由于基于 DPM 与基于 GAN 的方法之间存在显著差异——体现在 DPM 中独特的迭代去噪过程积分以及需要多个无目标噪声的时间步——这些方法难以用于 DPMs。本文中，我们提出一种新颖的基于 DPMs 的迁移学习方法 TAN，以解决数据有限问题。它包含两种策略：相似度引导训练（借助分类器提升迁移）与对抗噪声选择（基于输入图像自适应选择目标噪声）。在少样本图像生成任务背景下的大量实验表明，与现有基于 GAN 和基于 DDPM 的方法相比，我们的方法不仅高效，且在图像质量与多样性上更优。
引用
@article{arxiv.2308.11948,
title = {Efficient Transfer Learning in Diffusion Models via Adversarial Noise},
author = {Xiyu Wang and Baijiong Lin and Daochang Liu and Chang Xu},
journal= {arXiv preprint arXiv:2308.11948},
year = {2023}
}