Transformer中的水平与垂直注意力
计算机视觉与模式识别
2022-07-12 v1
摘要
Transformer建立在多头缩放点积注意力和位置编码之上，旨在学习特征表示与词元依赖关系。在这项工作中，我们专注于通过在学习用Transformer中的自注意力机制增强特征图来提升判别性表示。具体而言，我们提出水平注意力，在降维之前对缩放点积注意力的多头输出进行重新加权；并提出垂直注意力，通过显式建模不同通道间的相互依赖关系，自适应地重新校准通道级特征响应。我们证明了配备这两种注意力的Transformer模型在不同的监督学习任务上具有很高的泛化能力，且额外计算开销极小。所提出的水平与垂直注意力具有高度模块化特性，可插入各种Transformer模型以进一步提升性能。我们的代码在补充材料中提供。
引用
@article{arxiv.2207.04399,
title = {Horizontal and Vertical Attention in Transformers},
author = {Litao Yu and Jian Zhang},
journal= {arXiv preprint arXiv:2207.04399},
year = {2022}
}