用于增强 DETR 收敛与多尺度特征融合的语义对齐匹配
计算机视觉与模式识别
2023-02-07 v2
摘要
近期提出的 DEtection TRansformer (DETR) 为目标检测建立了完全端到端的范式。然而，DETR 存在训练收敛慢的问题，这阻碍了其在各类检测任务中的适用性。我们观察到，DETR 的慢收敛在很大程度上归因于对象查询与编码图像特征之间语义不对齐，导致对象查询难以匹配到相关区域。基于该观察，我们设计了 Semantic-Aligned-Matching DETR++ (SAM-DETR++) 以加速 DETR 收敛并提升检测性能。SAM-DETR++ 的核心是一个即插即用模块，将对象查询与编码图像特征投影到同一特征嵌入空间，使每个对象查询能够基于相似语义轻松匹配到相关区域。此外，SAM-DETR++ 搜索多个代表性关键点并利用其特征进行具有增强表征能力的语义对齐匹配。进一步地，SAM-DETR++ 能在所设计的语义对齐匹配基础上以由粗到细的方式有效融合多尺度特征。大量实验表明，所提出的 SAM-DETR++ 实现了更优的收敛速度与具竞争力的检测精度。此外，作为即插即用方法，SAM-DETR++ 可补充现有 DETR 收敛方案并取得更好性能，在 COCO val2017 上以 ResNet-50 仅用 12 个训练周期达到 44.8% AP，50 个训练周期达到 49.1% AP。代码见 https://github.com/ZhangGongjie/SAM-DETR 。
引用
@article{arxiv.2207.14172,
title = {Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale Feature Fusion},
author = {Gongjie Zhang and Zhipeng Luo and Jiaxing Huang and Shijian Lu and Eric P. Xing},
journal= {arXiv preprint arXiv:2207.14172},
year = {2023}
}