学会忽略：重新思考CNN中的注意力机制
计算机视觉与模式识别
2021-11-11 v1 机器学习
摘要
近年来，将注意力机制应用于卷积神经网络（CNNs）以解决计算机视觉任务引起越来越多关注。此类方法大多学习显式识别并高亮场景中相关部分，将注意力图像传递至网络后续层。本文中，我们认为这种方法可能并非最优。可以说，显式学习图像哪些部分相关通常比学习哪些部分较不相关因而应被忽略更难。事实上，在视觉领域，存在许多易识别的无关特征模式。例如，靠近边界的图像区域不太可能包含分类任务的有用信息。基于该思想，我们提出重构CNN中的注意力机制，使其学会忽略而非学会关注。具体而言，我们提出显式学习场景中的无关信息并在所得表示中抑制之，仅保留重要属性。该隐式注意力方案可融入任何现有注意力机制。本工作中，我们使用两种近期注意力方法——压缩激励（SE）模块与卷积块注意力模块（CBAM）验证该思想。在不同数据集与模型架构上的实验结果表明，学会忽略（即隐式注意力）相较标准方法取得更优性能。
引用
@article{arxiv.2111.05684,
title = {Learning to ignore: rethinking attention in CNNs},
author = {Firas Laakom and Kateryna Chumachenko and Jenni Raitoharju and Alexandros Iosifidis and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2111.05684},
year = {2021}
}
备注
accepted to BMVC 2021