NAM：基于归一化的注意力模块
计算机视觉与模式识别
2021-11-25 v1 图像与视频处理
摘要
识别不那么显著的特征是模型压缩的关键。然而，这一点在革命性的注意力机制中尚未得到研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制不那么显著的权重。它对注意力模块施加权重稀疏性惩罚，从而使它们在保持相似性能的同时计算效率更高。在 ResNet 和 MobileNet 上与另外三种注意力机制的比较表明，我们的方法带来了更高的准确率。本文的代码可在 https://github.com/Christian-lyc/NAM 公开获取。
引用
@article{arxiv.2111.12419,
title = {NAM: Normalization-based Attention Module},
author = {Yichao Liu and Zongru Shao and Yueyang Teng and Nico Hoffmann},
journal= {arXiv preprint arXiv:2111.12419},
year = {2021}
}
备注
3 pages, 2 figures, 2 tables, 2 tables in the appendix