EMBANet: 一种灵活高效的多分支注意力网络
计算机视觉与模式识别
2024-07-09 v1 人工智能
摘要
本文提出了一种新颖的模块，即多分支拼接(MBC)，用于处理输入张量并获得多尺度特征图。所提出的MBC模块通过允许灵活调整变换算子的类型和分支数量，为注意力网络的设计带来了新的自由度(DoF)。本文考虑了两种重要的变换算子：多路复用和分裂，两者都能在更细粒度上表示多尺度特征并增加感受野范围。通过集成MBC和注意力模块，进一步开发了一个多分支注意力(MBA)模块，以捕捉特征图的通道间交互，从而建立长程通道依赖关系。通过将ResNet瓶颈块中的3x3卷积替换为所提出的MBA，得到了一个新颖的块，即高效多分支注意力(EMBA)，它可以轻松嵌入到最先进的骨干CNN模型中。此外，通过堆叠EMBA块，建立了一个名为EMBANet的新骨干网络。所提出的EMBANet在代表性的计算机视觉任务上进行了广泛评估，包括：分类、检测和分割。它在流行的骨干网络上展示了一致的优越性能。
引用
@article{arxiv.2407.05418,
title = {EMBANet: A Flexible Efffcient Multi-branch Attention Network},
author = {Keke Zu and Hu Zhang and Jian Lu and Lei Zhang and Chen Xu},
journal= {arXiv preprint arXiv:2407.05418},
year = {2024}
}