用于语义分割的交错稀疏自注意力
计算机视觉与模式识别
2019-07-31 v2
摘要
在本文中，我们提出一种所谓的交错稀疏自注意力（self-attention）方法来提升语义分割中自注意力机制的效率。主要思想是将稠密亲和度矩阵分解为两个稀疏亲和度矩阵的乘积。有两个连续的注意力模块，各自估计一个稀疏亲和度矩阵。第一个注意力模块用于估计具有较长空间间隔距离的位置子集内的亲和度，第二个注意力模块用于估计具有较短空间间隔距离的位置子集内的亲和度。这两个注意力模块被设计为使每个位置都能接收到来自所有其他位置的信息。与原始自注意力模块相比，我们的方法显著降低了计算和内存复杂度，尤其是在处理高分辨率特征图时。我们在六个具有挑战性的语义分割基准上实证验证了我们的方法的有效性。
引用
@article{arxiv.1907.12273,
title = {Interlaced Sparse Self-Attention for Semantic Segmentation},
author = {Lang Huang and Yuhui Yuan and Jianyuan Guo and Chao Zhang and Xilin Chen and Jingdong Wang},
journal= {arXiv preprint arXiv:1907.12273},
year = {2019}
}