用于高效移动网络设计的坐标注意力
计算机视觉与模式识别
2021-03-05 v1
摘要
近期关于移动网络设计的研究已证明通道注意力（如 Squeeze-and-Excitation 注意力）在提升模型性能方面的显著有效性，但它们通常忽视了位置信息，而位置信息对于生成空间选择性注意力图十分重要。本文中，我们提出一种用于移动网络的新型注意力机制，将位置信息嵌入通道注意力中，称之为“坐标注意力”。与通过 2D 全局池化将特征张量转换为单一特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个 1D 特征编码过程，分别沿两个空间方向聚合特征。以此方式，可沿一个空间方向捕获长程依赖，同时沿另一空间方向保留精确位置信息。所得特征图随后被分别编码为一对方向感知且位置敏感的注意力图，可互补地应用于输入特征图以增强感兴趣目标的表征。我们的坐标注意力简单，并可灵活插入经典移动网络（如 MobileNetV2、MobileNeXt 和 EfficientNet），几乎无计算开销。大量实验表明，我们的坐标注意力不仅有益于 ImageNet 分类，更有趣的是在目标检测和语义分割等下游任务中表现更优。代码见 https://github.com/Andrew-Qibin/CoordAttention。
引用
@article{arxiv.2103.02907,
title = {Coordinate Attention for Efficient Mobile Network Design},
author = {Qibin Hou and Daquan Zhou and Jiashi Feng},
journal= {arXiv preprint arXiv:2103.02907},
year = {2021}
}
备注
CVPR2021