SA-Net:面向深度卷积神经网络的洗牌注意力
计算机视觉与模式识别
2021-02-02 v1 人工智能
摘要
注意力机制使神经网络能够准确聚焦于输入的所有相关元素,已成为提升深度神经网络性能的关键组件。计算机视觉研究中主要使用两种注意力机制,\textit{空间注意力}和\textit{通道注意力},分别旨在捕获像素级成对关系和通道依赖。尽管将它们融合可能比单独使用取得更好性能,但不可避免地会增加计算开销。本文中,我们提出一种高效的洗牌注意力(SA)模块来解决此问题,其采用 Shuffle Units 有效结合两类注意力机制。具体而言,SA 首先将通道维度分组为多个子特征并并行处理。然后,对每个子特征,SA 利用 Shuffle Unit 刻画空间和通道维度上的特征依赖。之后,所有子特征被聚合,并采用“通道洗牌”算子实现不同子特征间的信息通信。所提 SA 模块高效且有效,例如,相对于骨干 ResNet50,SA 的参数和计算量分别为 300 对比 25.56M、2.76e-3 GFLOPs 对比 4.12 GFLOPs,且 Top-1 准确率提升超过 1.34%。在常用基准(包括用于分类的 ImageNet-1k、用于目标检测的 MS COCO 和实例分割)上的大量实验结果表明,所提 SA 以更高精度且更低模型复杂度显著优于当前 SOTA 方法。代码和模型见 https://github.com/wofmanaf/SA-Net。
引用
@article{arxiv.2102.00240,
title = {SA-Net: Shuffle Attention for Deep Convolutional Neural Networks},
author = {Qing-Long Zhang Yu-Bin Yang},
journal= {arXiv preprint arXiv:2102.00240},
year = {2021}
}
备注
ICASSP 2021 paper: SA-Net: Shuffle Attention for Deep Convolutional Neural Networks