基于稳定匹配的检测 Transformer
计算机视觉与模式识别
2023-04-11 v1
摘要
本文关注 DEtection TRansformer (DETR) 中不同解码层之间的匹配稳定性问题。我们指出，DETR 中不稳定的匹配是由多优化路径问题引起的，而 DETR 中的一对一匹配设计凸显了这一问题。为解决该问题，我们表明最重要的设计是使用且仅使用位置度量（如 IOU）来监督正样本的分类得分。在该原则下，我们提出两个简单而有效的改进，通过将位置度量整合到 DETR 的分类损失和匹配代价中，分别称为位置监督损失和位置调制代价。我们在多个 DETR 变体上验证了我们的方法。我们的方法相比基线有持续提升。通过将我们的方法与 DINO 结合，我们在 COCO 检测基准上使用 ResNet-50 骨干网络，在 12 轮和 24 轮训练设置下分别取得 50.4 和 51.5 AP，在相同设置下创下新纪录。我们使用 Swin-Large 骨干网络在 COCO detection test-dev 上取得 63.8 AP。我们的代码将发布于 https://github.com/IDEA-Research/Stable-DINO。
引用
@article{arxiv.2304.04742,
title = {Detection Transformer with Stable Matching},
author = {Shilong Liu and Tianhe Ren and Jiayu Chen and Zhaoyang Zeng and Hao Zhang and Feng Li and Hongyang Li and Jun Huang and Hang Su and Jun Zhu and Lei Zhang},
journal= {arXiv preprint arXiv:2304.04742},
year = {2023}
}
备注
SOTA detector. Project page: https://github.com/IDEA-Research/Stable-DINO