SAP-DETR：弥合显著点与基于查询的 Transformer 检测器之间的鸿沟以实现快速模型收敛
计算机视觉与模式识别
2023-03-17 v2
摘要
近来，主导的基于 DETR 的方法应用中心概念空间先验来加速 Transformer 检测器收敛。这些方法逐步将参考点细化至目标物体中心，并为对象查询注入更新后的中心参考信息以进行空间条件注意力。然而，参考点中心化可能因无判别性的空间先验而严重损害查询的显著性并混淆检测器。为弥合显著查询的参考点与 Transformer 检测器之间的鸿沟，我们提出基于显著点的 DETR（SAP-DETR），将目标检测视为从显著点到实例对象的变换。在 SAP-DETR 中，我们为每个对象查询显式初始化一个查询特定的参考点，逐步将其聚合为实例对象，然后预测边界框各边到这些点的距离。通过快速关注来自图像特征的查询特定参考区域及其他条件极端区域，SAP-DETR 能以显著的收敛速度有效弥合显著点与基于查询的 Transformer 检测器之间的鸿沟。我们的大量实验表明，SAP-DETR 以具竞争力的性能实现了 1.4 倍的收敛速度。在标准训练方案下，SAP-DETR 稳定地将 SOTA 方法提升 1.0 AP。基于 ResNet-DC-101，SAP-DETR 取得了 46.9 AP。
引用
@article{arxiv.2211.02006,
title = {SAP-DETR: Bridging the Gap Between Salient Points and Queries-Based Transformer Detector for Fast Model Convergency},
author = {Yang Liu and Yao Zhang and Yixin Wang and Yang Zhang and Jiang Tian and Zhongchao Shi and Jianping Fan and Zhiqiang He},
journal= {arXiv preprint arXiv:2211.02006},
year = {2023}
}
备注
CVPR 2023