BA^2M：一种用于图像分类的批感知注意力模块
计算机视觉与模式识别
2021-03-30 v1
摘要
注意力机制已被应用于卷积神经网络（CNN）中以增强特征表示。然而，现有注意力机制仅关注于细化每个样本内部的特征，而忽略了不同样本之间的区分性。本文中，我们提出了一种批感知注意力模块（BA2M），从一种独特的视角进行特征丰富。更具体地，我们首先通过融合每个样本内的通道、局部空间与全局空间注意力图，得到样本级注意力表示（SAR）。然后，我们将整个批次的 SAR 输入一个归一化函数，以得到每个样本的权重。这些权重用于区分一个训练批次中内容复杂度不同的样本间特征的重要性。BA2M 可嵌入 CNN 的不同部分，并以端到端方式与网络一同优化。BA2M 的设计轻量，仅增加极少的额外参数与计算量。我们在 CIFAR-100 和 ImageNet-1K 上针对图像识别任务进行了大量实验验证 BA2M。结果表明，BA2M 能提升多种网络架构的性能，并优于许多经典注意力方法。此外，BA2M 超越了基于损失值对样本重新加权的传统方法。
引用
@article{arxiv.2103.15099,
title = {BA^2M: A Batch Aware Attention Module for Image Classification},
author = {Qishang Cheng and Hongliang Li and Qingbo Wu and King Ngi Ngan},
journal= {arXiv preprint arXiv:2103.15099},
year = {2021}
}
备注
11 pages, 5 figures