基于扩散模型的少样本图像生成

去噪扩散概率模型（DDPMs）已被证明在大量数据上训练时能够合成具有显著多样性的高质量图像。然而，据我们所知，基于DDPM的方法尚未被研究用于少样本图像生成任务。现代方法主要建立在生成对抗网络（GANs）之上，并使用少量可用样本将大型源域上预训练的模型适配到目标域。本文中，我们首次尝试研究当训练数据变得稀缺时DDPMs何时过拟合并遭受严重的多样性退化。随后我们微调在大型源域上预训练的DDPMs，以解决训练数据有限时的过拟合问题。尽管直接微调的模型相比从头训练加速了收敛并提升了生成质量与多样性，它们仍未能保留部分多样性特征且只能生成粗糙图像。因此，我们设计了DDPM成对适配（DDPM-PA）方法来优化少样本DDPM域适配。DDPM-PA通过在适配过程中保持生成样本间的相对成对距离，有效保留从源域学到的信息。此外，DDPM-PA增强了从源模型和有限训练数据中对高频细节的学习。DDPM-PA进一步提升了生成质量与多样性，并取得了优于当前最先进基于GAN的方法的结果。我们在一系列少样本图像生成任务上定性定量地展示了我们方法的有效性。