BAM:瓶颈注意力模块
计算机视觉与模式识别
2018-07-19 v2
摘要
深度神经网络的最新进展通过架构搜索获得了更强的表征能力。在本文中,我们关注注意力在一般深度神经网络中的作用。我们提出一个简单而有效的注意力模块,称为瓶颈注意力模块(Bottleneck Attention Module, BAM),它可集成于任何前馈卷积神经网络。我们的模块沿通道与空间两条独立路径推断注意力图。我们将模块置于模型中发生特征图下采样的每个瓶颈处。我们的模块以少量参数在瓶颈处构建层次化注意力,并且可与任何前馈模型端到端联合训练。我们在CIFAR-100、ImageNet-1K、VOC 2007和MS COCO基准上通过大量实验验证了BAM。实验显示各类模型在分类与检测性能上均有持续提升,证明了BAM的广泛适用性。代码与模型将公开提供。
引用
@article{arxiv.1807.06514,
title = {BAM: Bottleneck Attention Module},
author = {Jongchan Park and Sanghyun Woo and Joon-Young Lee and In So Kweon},
journal= {arXiv preprint arXiv:1807.06514},
year = {2018}
}
备注
Accepted to BMVC 2018 (oral)