Miti-DETR：基于缓解自注意力收敛的 Transformer 目标检测
计算机视觉与模式识别
2021-12-28 v1
摘要
基于 Transformer 的 Detection with Transformers (DETR) 及相关工作借助自注意力网络架构达到甚至超越高度优化的 Faster-RCNN 基线。受纯自注意力具有强归纳偏置导致 transformer 随网络深度丧失表达能力的证据启发，我们提出一种带缓解自注意力机制的 transformer 架构，通过在 transformer 架构中施加可能的直接映射连接来缓解秩崩塌，从而抵消特征表达损失并提升模型性能。我们将此方案应用于目标检测任务，并开发了名为 Miti-DETR 的模型。Miti-DETR 将每个单一注意力层的输入保留至该层输出，使“非注意力”信息参与任意注意力传播。所形成的残差自注意力网络解决了两个关键问题：(1) 最大程度阻止自注意力网络退化为秩-1；(2) 进一步多样化参数更新的路径分布，从而有望实现更轻松的注意力学习。Miti-DETR 在具有挑战性的 COCO 目标检测数据集上显著提升了相对于现有基于 DETR 模型的平均检测精度与收敛速度。此外，所提带残差自注意力网络的 transformer 可轻松泛化或插入其他相关任务模型而无需特定定制。
引用
@article{arxiv.2112.13310,
title = {Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence},
author = {Wenchi Ma and Tianxiao Zhang and Guanghui Wang},
journal= {arXiv preprint arXiv:2112.13310},
year = {2021}
}