缩放指数正则化线性单元（SERLU）的有效性

近来，自归一化神经网络（SNN）被提出，旨在避免批归一化或权重归一化。SNN 的关键步骤是适当缩放指数线性单元（称为 SELU），以基于中心极限理论内在地融入归一化。SELU 是一个单调递增函数，其对大负输入具有近似恒定的负输出。在本工作中，我们提出一种新的激活函数，在打破 SELU 单调性的同时仍保持自归一化性质。与 SELU 不同，该新函数通过对线性函数用缩放指数函数进行正则化，在负输入区域引入一个凸起形函数，称为缩放指数正则化线性单元（SERLU）。该凸起形函数对大负输入具有近似零响应，同时能够在统计上推动 SERLU 的输出趋向零均值。为有效对抗过拟合，我们为 SERLU 开发了一种所谓的移位 dropout，其将标准 dropout 作为特例包含在内。在 MNIST、CIFAR10 和 CIFAR100 上的实验结果表明，基于 SERLU 的神经网络与其他 5 种激活函数（包括 ELU、SELU、Swish、Leaky ReLU 和 ReLU）相比，提供了一致且令人满意的结果。