通过语义对齐匹配加速DETR收敛
计算机视觉与模式识别
2022-03-15 v1
摘要
新近提出的DEtection TRansformer（DETR）通过消除一系列手工设计组件，建立了一种新的目标检测范式。然而，DETR收敛极慢，显著增加了训练成本。我们观察到，缓慢收敛很大程度上归因于对象查询与目标特征在不同特征嵌入空间中匹配的复杂性。本文提出SAM-DETR，一种语义对齐匹配（Semantic-Aligned-Matching）的DETR，可在不牺牲精度的情况下大幅加速DETR收敛。SAM-DETR从两个角度解决收敛问题。首先，它将对象查询投影到与编码图像特征相同的嵌入空间，从而可在语义对齐的情况下高效完成匹配。其次，它显式搜索具有最具判别力特征的显著点用于语义对齐匹配，进一步加速收敛并提升检测精度。如同即插即用，SAM-DETR能很好地补充现有收敛方案，且仅引入轻微计算开销。大量实验表明，所提出的SAM-DETR实现了优越的收敛性以及具竞争力的检测精度。实现代码见 https://github.com/ZhangGongjie/SAM-DETR。
引用
@article{arxiv.2203.06883,
title = {Accelerating DETR Convergence via Semantic-Aligned Matching},
author = {Gongjie Zhang and Zhipeng Luo and Yingchen Yu and Kaiwen Cui and Shijian Lu},
journal= {arXiv preprint arXiv:2203.06883},
year = {2022}
}
备注
This paper has been accepted to CVPR 2022