SDA-$x$Net：用于自适应多尺度特征表示的选择性深度注意力网络
计算机视觉与模式识别
2022-09-22 v1
摘要
现有的多尺度方案带来了仅增大感受野尺寸而忽略小感受野的风险。因此，有效构建用于识别各种空间尺度物体的自适应神经网络是一个具有挑战性的问题。为解决此问题，我们首先在已有的通道、空间和分支等注意力维度之外引入一个新的注意力维度，即深度，并提出一种新颖的选择性深度注意力网络，以对称处理各种视觉任务中的多尺度物体。具体而言，给定神经网络（如 ResNet）每个阶段内的块输出具有相同分辨率但具有不同感受野尺寸的分层特征图。基于这一结构特性，我们设计了一个阶段式构建模块，称为 SDA，其包含一个主干分支和一个类 SE 的注意力分支。主干分支的块输出被融合以通过注意力分支全局引导其深度注意力分配。根据所提出的注意力机制，我们可以动态选择不同的深度特征，这有助于针对可变尺寸的输入物体自适应调整感受野尺寸。由此，跨块信息交互产生了沿深度方向的长程依赖。与其他多尺度方法相比，我们的 SDA 方法将先前块的多个感受野整合进阶段输出，从而提供了更宽更丰富的有效感受野范围。此外，我们的方法可作为可插拔模块用于其他多尺度网络及注意力网络，称为 SDA-Net。它们的结合进一步将有效感受野范围向小感受野扩展，实现了可解释的神经网络。我们的源代码可在 \url{https://github.com/QingbeiGuo/SDA-xNet.git} 获取。
引用
@article{arxiv.2209.10327,
title = {SDA-$x$Net: Selective Depth Attention Networks for Adaptive Multi-scale Feature Representation},
author = {Qingbei Guo and Xiao-Jun Wu and Zhiquan Feng and Tianyang Xu and Cong Hu},
journal= {arXiv preprint arXiv:2209.10327},
year = {2022}
}
备注
13 pages, 16 figures