STEAM：压缩与变换增强注意力模块
计算机视觉与模式识别
2026-05-26 v2
摘要
通道注意力和空间注意力机制虽提升了深度卷积神经网络（CNN）的表征能力，但常导致参数和计算成本增加。虽然近期方法仅聚焦于高效建模通道注意力的特征上下文，但本文旨在兼顾通道与空间注意力的综合建模，同时保持参数最少并降低计算开销。基于图结构建模原理，我们提出常数参数模块STEAM（Squeeze and Transform Enhanced Attention Module），集成通道与空间注意力以增强 CNN 的表征能力。我们首次提出基于图的建模方法，利用多头图变换器（multi-head graph transformer）的概念实现双注意力建模。此外，我们引入输出引导池化（OGP），高效捕获空间上下文进一步提升空间注意力。我们在标准基准数据集上广泛评估STEAM用于大规模图像分类、目标检测和实例分割。STEAM 在 ResNet-50 上实现 2% 的准确率提升，仅增加极少的 GFLOPs；相较于 ECA 和 GCT 等领先模块，STEAM 在准确率上优越，同时将 GFLOPs 降低三倍。
引用
@article{arxiv.2412.09023,
title = {STEAM: Squeeze and Transform Enhanced Attention Module},
author = {Rishabh Sabharwal and Ram Samarth B B and Parikshit Singh Rathore and Punit Rathore},
journal= {arXiv preprint arXiv:2412.09023},
year = {2026}
}