重新思考基于 Transformer 的集合预测在目标检测中的应用
计算机视觉与模式识别
2021-10-13 v2 机器学习
摘要
DETR 是最近提出的一种基于 Transformer 的方法，它将目标检测视为集合预测问题，并取得了最先进的性能，但需要极长的训练时间才能收敛。在本文中，我们研究了 DETR 训练过程中优化困难的原因。我们的检验揭示了导致 DETR 收敛缓慢的几个因素，主要是匈牙利损失和 Transformer 交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即 TSP-FCOS（基于 Transformer 的带 FCOS 的集合预测）和 TSP-RCNN（基于 Transformer 的带 RCNN 的集合预测）。实验结果表明，所提出的方法不仅比原始 DETR 收敛快得多，而且在检测精度方面显著优于 DETR 和其他基线。
引用
@article{arxiv.2011.10881,
title = {Rethinking Transformer-based Set Prediction for Object Detection},
author = {Zhiqing Sun and Shengcao Cao and Yiming Yang and Kris Kitani},
journal= {arXiv preprint arXiv:2011.10881},
year = {2021}
}
备注
Accepted to ICCV 2021