通过混合视觉概念实现数据集增强

本文提出了一种通过微调预训练扩散模型实现数据集增强的方法。使用预训练扩散模型生成图像时，常常存在真实数据与生成图像之间的领域差异。我们提出了一种微调方法，通过以真实图像为条件并引入新文本嵌入来适应扩散模型。我们引入了一种独特的过程，称为混合视觉概念（Mixing Visual Concepts, MVC），通过图像描述创建新文本嵌入。MVC使我们能够生成多个多样且与真实数据相似的图像，从而实现有效的数据集增强。我们对该数据集增强方法进行了全面的定性和定量评估，展示了生成图像中细粒度和粗粒度变化。我们的方法在基准分类任务上超越了当前最先进的增强技术。