AReLU：基于注意力的修正线性单元

逐元素激活函数通过影响表达能力和学习动态，在深度神经网络中起着关键作用。基于学习的激活函数近年来受到越来越多的关注和成功应用。我们通过将可学习激活函数用逐元素注意力机制来表述，提出了一种新的视角。在每一网络层中，我们设计了一个注意力模块，该模块为预激活特征图学习一个基于符号的逐元素注意力图。该注意力图根据元素的符号对其进行缩放。将注意力模块与修正线性单元（ReLU）结合，可放大正元素并抑制负元素，二者均使用学习到的、数据自适应参数。我们将所得激活函数称为基于注意力的修正线性单元（AReLU）。该注意力模块本质上学习了输入激活部分的逐元素残差，因为 ReLU 可视为恒等变换。这使得网络训练对梯度消失更具抵抗力。学习到的注意力激活导致特征图相关区域的聚焦激活。通过广泛评估，我们表明 AReLU 仅引入每层两个额外可学习参数，就显著提升了大多数主流网络架构的性能。值得注意的是，AReLU 在小学习率下促进快速网络训练，这使其特别适用于迁移学习和元学习。我们的源代码已发布（见 https://github.com/densechen/AReLU）。