通过重叠优化训练类别不平衡扩散模型

扩散模型最近在高质量图像合成及相关任务中取得了显著进展。然而，在遵循长尾分布的真实世界数据集上训练的扩散模型，其尾部类别的生成保真度较低。包括扩散模型在内的深度生成模型倾向于偏向训练图像丰富的类别。为了解决观察到的稀有类别合成图像与尾部类别之间的外观重叠问题，我们提出了一种基于对比学习的方法，以最小化不同类别合成图像分布之间的重叠。我们展示了概率对比学习方法的变体可应用于任何类别条件扩散模型。我们表明，使用我们的损失函数在多个具有长尾分布的数据集上，图像合成效果有显著提升。大量的实验结果表明，所提方法能有效处理基于扩散的生成和分类模型中的不平衡数据。我们的代码和数据集将在 https://github.com/yanliang3612/DiffROP 公开。