E-swish：使激活函数适应不同网络深度

激活函数对神经网络在针对目标问题训练和测试模型时有着显著影响。目前最常用的激活函数是修正线性单元（ReLU）。本文引入一种新颖的激活函数，它与新激活函数 $Swish = x * sigmoid(x)$（Ramachandran 等人，2017）密切相关并对其进行推广。我们称新激活函数为 $E-swish = \beta x * sigmoid(x)$。我们表明 E-swish 优于许多其他知名激活函数，包括 ReLU 和 Swish。例如，在 WRN 10-2 上，与 ReLU 相比，使用 E-swish 在 Cifar10 和 Cifar100 上分别带来了 1.5% 和 4.6% 的准确率提升，与 Swish 相比分别带来了 0.35% 和 0.6% 的提升。复现我们所有实验的代码可在 https://github.com/EricAlcaide/E-swish 找到。