采用协同混合分配训练的 DETR 检测器

在本文中，我们提出一个观察：在采用一对一集合匹配的 DETR 中，被指派为正样本的查询过少，导致编码器输出的监督稀疏，这严重损害了编码器的判别性特征学习，而解码器中的注意力学习也反之亦然。为缓解此问题，我们提出一种新颖的协同混合分配训练方案，即 $\mathcal{C}$o-DETR，以从多种标签分配方式中学习更高效且更有效的基于 DETR 的检测器。该新训练方案可通过训练由一对多标签分配（如 ATSS 和 Faster RCNN）监督的多个并行辅助头，轻松增强端到端检测器中编码器的学习能力。此外，我们通过从这些辅助头中提取正坐标来构造额外的定制正查询，以提高解码器中正样本的训练效率。在推理时，这些辅助头被丢弃，因此我们的方法不向原始检测器引入额外参数和计算成本，同时无需手工设计的非极大值抑制（NMS）。我们进行了大量实验，在 DETR 变体（包括 DAB-DETR、Deformable-DETR 和 DINO-Deformable-DETR）上评估所提方法的有效性。采用 Swin-L 的当前最优 DINO-Deformable-DETR 在 COCO val 上的 AP 可从 58.5% 提升至 59.5%。令人惊讶的是，结合 ViT-L 骨干网络，我们在 COCO test-dev 上取得 66.0% AP，在 LVIS val 上取得 67.9% AP，以明显更小的模型规模超越以往方法。代码见 \url{https://github.com/Sense-X/Co-DETR}。