端到端目标检测中期望的查询是什么？
计算机视觉与模式识别
2022-06-06 v1
摘要
在DETR出现后，端到端目标检测迅速发展。DETR使用一组稀疏查询取代大多数传统检测器中的稠密候选框。相比之下，稀疏查询无法像稠密先验那样保证高召回率。然而，在当前框架中使查询稠密并非易事。它不仅承受沉重的计算成本，而且优化困难。由于稀疏和稠密查询都不完美，那么\emph{端到端目标检测中期望的查询是什么}？本文表明期望的查询应为稠密可区分查询(DDQ)。具体而言，我们将稠密先验重新引入框架以生成稠密查询。对这些查询应用重复查询移除预处理，使它们彼此可区分。然后迭代处理稠密可区分查询以获得最终稀疏输出。我们表明DDQ更强、更鲁棒且收敛更快。它在MS COCO检测数据集上仅用12个epoch即获得44.5 AP。DDQ也很鲁棒，因为在多个数据集上的目标检测和实例分割任务中均优于先前方法。DDQ融合了传统稠密先验与近期端到端检测器的优势。我们希望它能作为新基线并启发研究者重新审视传统方法与端到端检测器之间的互补性。源代码公开于\url{https://github.com/jshilong/DDQ}。
引用
@article{arxiv.2206.01232,
title = {What Are Expected Queries in End-to-End Object Detection?},
author = {Shilong Zhang and Xinjiang Wang and Jiaqi Wang and Jiangmiao Pang and Kai Chen},
journal= {arXiv preprint arXiv:2206.01232},
year = {2022}
}
备注
The source code is publicly available at https://github.com/jshilong/DDQ