基于扩散模型的有效数据增强方法

数据增强是深度学习中最普遍的工具之一，支撑了许多近期进展，包括来自分类、生成模型和表示学习的进展。数据增强的标准方法结合旋转和翻转等简单变换，从现有图像生成新图像。然而，这些新图像缺乏数据中关键语义轴上的多样性。当前的增强方法无法改变高层语义属性（如场景中存在的动物物种）以增强数据多样性。我们通过由预训练的文本到图像扩散模型参数化的图像到图像变换来解决数据增强中缺乏多样性的问题。我们的方法利用现成的扩散模型编辑图像以改变其语义，并从少量标注样本中泛化到新颖视觉概念。我们在少样本图像分类任务和真实世界杂草识别任务上评估了我们的方法，并在测试领域中观察到准确率的提升。