将检测 Transformer 用作数据增强器

Detection Transformer (DETR) 是一种基于 Transformer 架构的目标检测模型。在本文中，我们展示它也可用作数据增强器。我们将我们的方法称为 DETR 辅助的 CutMix，简称 DeMix。DeMix 构建于 CutMix 之上，CutMix 是近年来流行的一种简单但极为有效的数据增强技术。CutMix 通过从一张图像中裁剪一块补丁并粘贴到另一张图像上来生成新图像，从而提升模型性能。该新样本的对应标签被指定为原始标签的加权平均，其中权重与补丁面积成正比。CutMix 随机选择要裁剪的补丁。相比之下，DeMix 精心选择由预训练 DETR 定位的语义丰富补丁。新图像的标签指定方式与 CutMix 相同。在图像分类基准数据集上的实验结果表明，DeMix 显著优于包括 CutMix 在内的现有数据增强方法。我们的代码可在 https://github.com/ZJLAB-AMMI/DeMix 获取。