免参数平均注意力以（几乎）零代价提升卷积神经网络性能
计算机视觉与模式识别
2022-10-17 v1
摘要
视觉感知由对周围世界中相关方面的聚焦所驱动。为将这一观察转移到计算机的数字信息处理中，注意力机制被引入以突出显著图像区域。在此，我们提出一种称为 PfAAM 的免参数注意力机制，它是一个简单而有效的模块。它可插入多种卷积神经网络架构，仅带来少量计算开销且不影响模型大小。PfAAM 在多种架构上针对分类与分割任务进行了测试，在所有测试案例中均带来模型性能提升。这证明了其作为计算机视觉任务通用易用模块的广泛适用性。PfAAM 的实现可在 https://github.com/nkoerb/pfaam 找到。
引用
@article{arxiv.2210.07828,
title = {Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge},
author = {Nils Körber},
journal= {arXiv preprint arXiv:2210.07828},
year = {2022}
}