ULSAM：面向紧凑卷积神经网络的超轻量子空间注意力模块
计算机视觉与模式识别
2020-06-29 v1
摘要
自注意力机制建模长程依赖的能力推动了其在视觉模型中的部署。与卷积算子不同，自注意力提供无限感受野并实现计算高效的全局依赖建模。然而，现有的最先进注意力机制带来高计算量和/或参数开销，因此不适用于紧凑卷积神经网络（CNNs）。本工作中，我们提出一种简单而有效的“超轻量子空间注意力机制”（ULSAM），其为每个特征图子空间推断不同的注意力图。我们认为，为每个特征子空间学习独立的注意力图可实现多尺度与多频率特征表示，这更适用于细粒度图像分类。我们的子空间注意力方法与视觉模型中现有的最先进注意力机制正交且互补。ULSAM 可端到端训练，并可作为即插即用模块部署于已有紧凑 CNNs 中。值得注意的是，我们的工作是首个使用子空间注意力机制提升紧凑 CNNs 效率的尝试。为展示 ULSAM 的有效性，我们以 MobileNet-V1 和 MobileNet-V2 为骨干架构，在 ImageNet-1K 和三个细粒度图像分类数据集上实验。在 ImageNet-1K 和细粒度图像分类数据集上，我们以 top-1 准确率分别提升 0.27% 和超过 1% 为代价，使 MobileNet-V2 的 FLOPs 和参数数量均减少约 13% 和约 25%。代码与训练模型见 https://github.com/Nandan91/ULSAM。
引用
@article{arxiv.2006.15102,
title = {ULSAM: Ultra-Lightweight Subspace Attention Module for Compact Convolutional Neural Networks},
author = {Rajat Saini and Nandan Kumar Jha and Bedanta Das and Sparsh Mittal and C. Krishna Mohan},
journal= {arXiv preprint arXiv:2006.15102},
year = {2020}
}
备注
Accepted as a conference paper in 2020 IEEE Winter Conference on Applications of Computer Vision (WACV)