面向端到端目标检测的稠密相异查询
计算机视觉与模式识别
2023-07-06 v2
摘要
目标检测中的一对一标签分配已成功免去作为后处理的非极大值抑制（NMS），并使流程实现端到端。然而，这引发了新的困境：广泛使用的稀疏查询无法保证高召回率，而稠密查询不可避免地带来更多相似查询并遭遇优化困难。由于稀疏与稠密查询均存在问题，那么端到端目标检测中预期的查询是什么？本文表明解决方案应为稠密相异查询（DDQ）。具体而言，我们首先像传统检测器那样布置稠密查询，再选取相异查询用于一对一分配。DDQ 融合了传统检测器与近期端到端检测器的优势，显著提升了包括 FCN、R-CNN 和 DETRs 在内的多种检测器性能。最令人瞩目的是，DDQ-DETR 在 MS-COCO 数据集上以 ResNet-50 骨干网络在 12 个周期内达到 52.1 AP，优于同设定下所有现有检测器。DDQ 还具备端到端检测器在拥挤场景中的优势，在 CrowdHuman 上达到 93.8 AP。我们希望 DDQ 能启发研究者思考传统方法与端到端检测器间的互补性。源代码见 \url{https://github.com/jshilong/DDQ}。
引用
@article{arxiv.2303.12776,
title = {Dense Distinct Query for End-to-End Object Detection},
author = {Shilong Zhang and Xinjiang Wang and Jiaqi Wang and Jiangmiao Pang and Chengqi Lyu and Wenwei Zhang and Ping Luo and Kai Chen},
journal= {arXiv preprint arXiv:2303.12776},
year = {2023}
}
备注
Accepted to CVPR2023. Code has been released at https://github.com/jshilong/DDQ