Relation DETR：探索对象检测中显式位置关系先验
计算机视觉与模式识别
2024-07-17 v1
摘要
本文提出了一种用于增强DETR（DEtection TRansformer）收敛性和性能的通用方案。我们从新的角度考察变压器中的慢收敛问题，表明其源于自注意力机制未对输入引入结构偏置。为解决此问题，我们探索将位置关系先验作为注意力偏置来增强对象检测， following对其统计显著性的验证，使用我们提出的量化宏观相关（MC）度量。我们的做法称为Relation-DETR，引入一个编码器来构建位置关系嵌入，以实现渐进式注意力细化，进而将传统DETR的流式管道扩展为对抗关系管道，以解决非重复预测与正监督之间的冲突。在通用和任务特定数据集上进行大量实验，证明了我们方法的有效性。在相同的配置下，Relation-DETR相对于DINO实现了显著的改进（51.7% AP for 1x和52.1% AP for 2x设置），并在COCO val2017上实现了比现有DETR检测器更快的收敛速度（仅用2个训练epoch即可获得40%以上的AP）。此外，所提出的关系编码器作为通用的即插即用组件，为理论上任何DETR-like方法带来明显的改进。 Furthermore，我们引入了一个以无类别检测为特征的检测数据集SA-Det-100k。该数据集上的实验结果表明，所提出的显式位置关系实现了1.3% AP的明显改进，凸显了其在通用对象检测方面的潜力。代码和数据集均可在 https://github.com/xiuqhou/Relation-DETR 获取。
引用
@article{arxiv.2407.11699,
title = {Relation DETR: Exploring Explicit Position Relation Prior for Object Detection},
author = {Xiuquan Hou and Meiqin Liu and Senlin Zhang and Ping Wei and Badong Chen and Xuguang Lan},
journal= {arXiv preprint arXiv:2407.11699},
year = {2024}
}
备注
Accepted to ECCV 2024