一种用于卷积神经网络的注意力模块
计算机视觉与模式识别
2021-08-19 v1
摘要
注意力机制被视为捕获长程特征交互并提升卷积神经网络表征能力的一种先进技术。然而，我们发现当前基于注意力激活的模型中存在两个被忽视的问题：注意力图的近似问题以及容量不足问题。为同时解决这两个问题，我们首次通过提出一种 AW 卷积来为卷积神经网络设计注意力模块，其中注意力图的形状与权重而非激活值相匹配。我们提出的注意力模块是对以往基于注意力的方案（例如那些应用注意力机制来探索通道与空间特征之间关系的方案）的补充方法。在多个用于图像分类与目标检测任务的数据集上的实验表明了我们所提注意力模块的有效性。特别地，在 ResNet101 基线上，我们的注意力模块在 ImageNet 分类上实现了 1.00% 的 Top-1 精度提升；在以 ResNet101-FPN 为骨干的 Faster R-CNN 基线上，于 COCO 目标检测上实现了 0.63 的 COCO 风格平均精度提升。当与以往的基于注意力激活的模型集成时，我们的注意力模块可进一步将其 ImageNet 分类 Top-1 精度提升至多 0.57%，并将 COCO 目标检测的 COCO 风格平均精度提升至多 0.45。代码与预训练模型将公开可用。
引用
@article{arxiv.2108.08205,
title = {An Attention Module for Convolutional Neural Networks},
author = {Zhu Baozhou and Peter Hofstee and Jinho Lee and Zaid Al-Ars},
journal= {arXiv preprint arXiv:2108.08205},
year = {2021}
}