SCSA：探索空间注意力与通道注意力之间的协同效应
计算机视觉与模式识别
2024-11-13 v2
摘要
通道注意力和空间注意力分别在提取特征依赖性和空间结构关系方面为各种下游视觉任务带来了显著的改进。虽然它们的组合对充分利用各自优势更有益，但空间注意力与通道注意力之间的协同效应尚未得到充分探索，缺乏充分发挥多语义信息在特征引导和语义差异缓解方面的协同潜能。我们的研究旨在揭示空间注意力与通道注意力在多个语义层次上的协同关系，提出一种新型的空间和通道协同注意力模块（SCSA）。我们的 SCSA 由两部分组成：可共享多语义空间注意力（SMSA）和渐进式通道自注意力（PCSA）。SMSA 整合多语义信息并采用渐进压缩策略，将判别性空间先验注入 PCSA 的通道自注意力中，从而有效指导通道 recalibration。此外，PCSA 中基于自注意力机制的稳健特征交互进一步缓解了 SMSA 中不同子特征之间多语义信息的差异。我们在七个基准数据集上进行了广泛实验，包括 ImageNet-1K 上的分类、MS COCO 2017 上的目标检测、ADE20K 上的分割以及四个其他复杂场景检测数据集。我们的结果表明，我们提出的 SCSA 不仅超越了当前的注意力 SOTA 模型，也在各种任务场景中表现出增强的泛化能力。代码和模型可在 https://github.com/HZAI-ZJNU/SCSA 获取。
引用
@article{arxiv.2407.05128,
title = {SCSA: Exploring the Synergistic Effects Between Spatial and Channel Attention},
author = {Yunzhong Si and Huiying Xu and Xinzhong Zhu and Wenhao Zhang and Yao Dong and Yuxing Chen and Hongbo Li},
journal= {arXiv preprint arXiv:2407.05128},
year = {2024}
}
备注
We added experiments for the classification task and updated the corresponding sections accordingly. The paper formatting has also been revised