FeatAug-DETR：通过特征增强丰富 DETR 的一对多匹配
计算机视觉与模式识别
2023-03-03 v1
摘要
一对一匹配是类 DETR 目标检测框架中的关键设计。它使 DETR 能够执行端到端检测。然而，它也面临缺乏正样本监督和收敛速度慢的挑战。近期的若干工作提出了一对多匹配机制以加速训练并提升检测性能。我们重新审视这些方法，并将其建模为增强目标查询的统一格式。在本文中，我们从增强图像或图像特征的不同视角提出了两种实现一对多匹配的方法。第一种方法是通过数据增强实现一对多匹配（记为 DataAug-DETR）。它对图像进行空间变换，并在同一训练批次中纳入每张图像的多个增强版本。这种简单的增强策略已经实现了一对多匹配，并出人意料地提升了 DETR 的性能。第二种方法是通过特征增强实现一对多匹配（记为 FeatAug-DETR）。与 DataAug-DETR 不同，它增强的是图像特征而非原始图像，并在同一批次中纳入多个增强特征以实现一对多匹配。FeatAug-DETR 显著加速了 DETR 训练并提升了检测性能，同时保持推理速度不变。我们进行了大量实验，在 DETR 变体（包括 DAB-DETR、Deformable-DETR 和 H-Deformable-DETR）上评估所提方法的有效性。在无额外训练数据的情况下，FeatAug-DETR 将 Deformable-DETR 的训练收敛周期缩短至 24 个 epoch，并以 Swin-L 为骨干网络在 COCO val2017 集上达到 58.3 AP。
引用
@article{arxiv.2303.01503,
title = {FeatAug-DETR: Enriching One-to-Many Matching for DETRs with Feature Augmentation},
author = {Rongyao Fang and Peng Gao and Aojun Zhou and Yingjie Cai and Si Liu and Jifeng Dai and Hongsheng Li},
journal= {arXiv preprint arXiv:2303.01503},
year = {2023}
}
备注
12 pages, 6 figures