引导查询位置并对基于Transformer的检测头执行相似注意力
计算机视觉与模式识别
2021-08-24 v1
摘要
在DETR被提出后，这种在目标查询与特征图之间执行若干次交叉注意力以进行预测的基于Transformer的新型检测范式，随后衍生出一系列基于Transformer的检测头。这些模型在每次交叉注意力后迭代目标查询，但并未更新指示目标查询位置信息的查询位置。因此模型需要额外学习以弄清查询位置应表达的最新区域，并需要更多注意力。为解决此问题，我们提出引导查询位置（GQPos）方法，将目标查询的最新位置信息迭代地嵌入查询位置。此类基于Transformer的检测头的另一问题是，在多尺度特征图上执行注意力的高复杂度阻碍了其全面提升各尺度检测性能。因此我们提出一种名为相似注意力（SiA）的新融合方案：除融合特征图外，SiA还融合注意力权重图，借助学习良好的低分辨率注意力权重图来加速高分辨率注意力权重图的学习。我们的实验表明，所提GQPos提升了一系列模型（包括DETR、SMCA、YoloS和HoiTransformer）的性能，且SiA持续提升了基于多尺度Transformer的检测头（如DETR和HoiTransformer）的性能。
引用
@article{arxiv.2108.09691,
title = {Guiding Query Position and Performing Similar Attention for Transformer-Based Detection Heads},
author = {Xiaohu Jiang and Ze Chen and Zhicheng Wang and Erjin Zhou and ChunYuan},
journal= {arXiv preprint arXiv:2108.09691},
year = {2021}
}