BA-Net：用于深度卷积神经网络的桥接注意力
计算机视觉与模式识别
2022-06-02 v3 人工智能
摘要
近年来，由于通道注意力机制在许多视觉任务中提升深度卷积神经网络性能方面的巨大潜力，它已被广泛研究。然而，在现有的大多数方法中，只有相邻卷积层的输出被送入注意力层以计算通道权重。来自其他卷积层的信息被忽略了。基于这些观察，本文提出了一种名为 Bridge Attention Net (BA-Net) 的简单策略，以利用通道注意力机制获得更好的性能。该设计的核心思想是通过跳跃连接桥接先前卷积层的输出，以生成通道权重。基于我们的实验和理论分析，我们发现来自先前层的特征对权重也有显著贡献。综合评估表明，与现有方法相比，所提出的方法在准确率和速度上均达到了 SOTA 性能。这表明 Bridge Attention 为神经网络架构设计提供了一个新的视角，在提升性能方面具有巨大潜力。代码可在 https://github.com/zhaoy376/Bridge-Attention 获取。
引用
@article{arxiv.2112.04150,
title = {BA-Net: Bridge Attention for Deep Convolutional Neural Networks},
author = {Yue Zhao and Junzhou Chen and Zirui Zhang and Ronghui Zhang},
journal= {arXiv preprint arXiv:2112.04150},
year = {2022}
}