注意力即激活
计算机视觉与模式识别
2020-08-04 v2
摘要
激活函数与注意力机制通常被视为具有不同的目的，并且各自独立演化。然而，这两个概念均可表述为一种非线性门控函数。受二者相似性的启发，我们提出一种称为注意力激活（ATAC）单元的新型激活单元，作为激活函数与注意力机制的统一。具体而言，我们提出一种局部通道注意力模块，用于同步进行非线性激活与逐元素特征精炼，该模块在局部聚合逐点跨通道特征上下文。通过在卷积网络中用此类 ATAC 单元替换著名的修正线性单元，我们可以构建完全注意力网络，在少量额外参数下取得显著更优的性能。我们使用多个具有不同网络深度的宿主网络对 ATAC 单元进行了详细的消融研究，以实证验证该单元的有效性与效率。此外，我们在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上将 ATAC 单元与现有激活函数及其他注意力机制进行了性能比较。实验结果表明，在参数数量相当的情况下，采用所提 ATAC 单元构建的网络通常比其竞争对手获得性能提升。
引用
@article{arxiv.2007.07729,
title = {Attention as Activation},
author = {Yimian Dai and Stefan Oehmcke and Fabian Gieseke and Yiquan Wu and Kobus Barnard},
journal= {arXiv preprint arXiv:2007.07729},
year = {2020}
}