数据感知的激活函数定制降低神经网络误差

激活函数在神经网络中起着关键作用，然而当前现成的神经网络很少关注所使用激活函数的具体选择。本文表明，数据感知的激活函数定制可带来神经网络误差的显著下降。我们首先给出激活函数在神经网络中作用的简单线性代数解释；随后，通过与 Diaconis-Shahshahani 逼近定理建立联系，提出一组良好激活函数的准则。作为一个案例研究，我们考虑具有部分可交换目标函数的回归任务，即对于 $u,v\in \mathbb{R}^d$ 与 $w\in \mathbb{R}^k$ 有 $f(u,v,w)=f(v,u,w)$，并证明对于此类目标函数，在至少一层中使用偶激活函数可保证预测保持部分可交换性以取得最佳性能。由于偶激活函数在实践中很少使用，我们依据准则设计了“海鸥”偶激活函数 $\log(1+x^2)$。在超过两打具有不同局部光滑性、曲率与可交换程度的 9–25 维例子上的实证测试表明，在已精炼的神经网络中简单替换为“海鸥”激活函数可带来误差的数量级下降。当激活函数替换应用于可交换变量首次相连的层时，该改进最为显著。尽管改进在低维数据上最大，在 CIFAR10 图像分类数据集上的实验表明，即便对于高维情形，使用“海鸥”也能降低误差。这些结果共同凸显了定制激活函数作为改进神经网络性能通用方法的潜力。