基于实例级增强的数据集扩充

我们提出了一种通过整合预训练潜在扩散模型的广泛分布知识来扩充数据集的方法。数据增强通常会将关于图像形成过程的归纳偏差引入训练（例如平移、缩放、颜色变化等）。在此，我们超越了简单的像素变换，引入了实例级数据增强的概念，即在对象实例级别重新绘制图像的部分内容。该方法结合了条件扩散模型与深度图和边缘图控制条件，以无缝地重新绘制场景中的单个对象，适用于任何分割或检测数据集。作为一种数据增强方法，它提高了最先进的显著性目标检测、语义分割和目标检测模型的性能和泛化能力。通过重新绘制所有涉及隐私的实例（人物、车牌等），该方法也适用于数据匿名化。我们还为流行的数据集COCO、Pascal VOC和DUTS发布了完全合成和匿名化的扩充版本。