基于空间调制协同注意力的 DETR 快速收敛方法
计算机视觉与模式识别
2021-01-20 v1
摘要
近来提出的检测 Transformer (DETR) 模型成功地将 Transformer 应用于目标检测，并取得了与两阶段目标检测框架（如 Faster-RCNN）相当的性能。然而，DETR 存在收敛缓慢的问题。从零训练 DETR \cite{carion2020end} 需要 500 个 epoch 才能达到高准确率。为加速其收敛，我们提出了一种简单而有效的改进 DETR 框架的方案，即空间调制协同注意力 (SMCA) 机制。SMCA 的核心思想是通过将协同注意力响应约束在初始估计的边界框位置附近较高，从而在 DETR 中执行回归感知的协同注意力。我们提出的 SMCA 通过替换解码器中原始的协同注意力机制来提升 DETR 的收敛速度，同时保持 DETR 中其他操作不变。此外，通过将多头与尺度选择注意力设计集成到 SMCA 中，我们完整的 SMCA 相比基于膨胀卷积骨干网的 DETR 可取得更好性能（在 108 个 epoch 达到 45.6 mAP，对比 500 个 epoch 的 43.3 mAP）。我们在 COCO 数据集上进行了广泛的消融实验以验证所提 SMCA 的有效性。
引用
@article{arxiv.2101.07448,
title = {Fast Convergence of DETR with Spatially Modulated Co-Attention},
author = {Peng Gao and Minghang Zheng and Xiaogang Wang and Jifeng Dai and Hongsheng Li},
journal= {arXiv preprint arXiv:2101.07448},
year = {2021}
}