EIS——结合指数、ISRU 与 Softplus 的一类激活函数

激活函数在使用神经网络进行函数学习中起着关键作用。所学函数中的非线性是通过重复使用激活函数实现的。多年来，人们提出了大量激活函数以提升多项任务的准确率。ReLU、Sigmoid、Tanh 或 Softplus 等基本函数因其简洁性而深受深度学习社区青睐。近年来，基于这些基本函数衍生出的若干新型激活函数被提出，并在一些具有挑战性的数据集上提升了准确率。我们提出了一类含五个超参数的激活函数族，即 EIS，定义为 $$\frac{x(\ln(1+e^x))^\alpha}{\sqrt{\beta+\gamma x^2}+\delta e^{-\theta x}}.$$ 我们展示了 EIS 族中某些激活函数的例子，它们在部分知名数据集和模型上优于广泛使用的激活函数。例如，$\frac{x\ln(1+e^x)}{x+1.16e^{-x}}$ 在 CIFAR100 数据集上于 DenseNet-169 中比 ReLU 高 0.89%、于 Inception V3 中高 0.24%，而在 CIFAR10 数据集上于 Inception V3 中高 1.13%、于 DenseNet-169 中高 0.13%、于 SimpleNet 模型中高 0.94%。此外，$\frac{x\ln(1+e^x)}{\sqrt{1+x^2}}$ 在 CIFAR100 数据集上于 DenseNet-169 中比 ReLU 高 1.68%、于 Inception V3 中高 0.30%，而在 CIFAR10 数据集上于 Inception V3 中高 1.0%、于 DenseNet-169 中高 0.15%、于 SimpleNet 模型中高 1.13%。