BA-Net：深度神经网络中的桥接注意力
计算机视觉与模式识别
2024-10-14 v2
摘要
注意力机制，特别是通道注意力，在众多计算机视觉任务中发挥着高度影响力。尽管其有效性显而易见，但许多现有方法主要关注通过应用于单个卷积层的复杂注意力模块来优化性能，往往忽视了跨多个卷积层可能发生的协同互动。为弥补这一差距，我们引入了桥接注意力，这是一种新颖的方法，旨在促进不同卷积层之间更有效的集成和信息流动。我们的工作扩展了原始的桥接注意力模型（BAv1），通过引入自适应选择算子来减少信息冗余并优化整体信息交换。此增强导致了 BAv2 的开发，其在 ImageNet 分类任务中实现了显著的性能提升，分别在使用 ResNet50 和 ResNet101 作为主干网络时，获得了 80.49% 和 81.75% 的 Top-1 准确率。这些结果超过了重新训练的基线 1.61% 和 0.77%。此外，BAv2 的集成到先进的卷积网络和视觉变换器，导致了在广泛的计算机视觉任务中显著的性能提升，凸显了其广泛的适用性。
引用
@article{arxiv.2410.07860,
title = {BA-Net: Bridge Attention in Deep Neural Networks},
author = {Ronghui Zhang and Runzong Zou and Yue Zhao and Zirui Zhang and Junzhou Chen and Yue Cao and Chuan Hu and Houbing Song},
journal= {arXiv preprint arXiv:2410.07860},
year = {2024}
}