静态激活函数归一化

近期深度神经网络实践与随机矩阵论交叉领域的开创性工作，已将这类网络的收敛速度与鲁棒性同所采用的随机权重初始化与非线性激活函数的组合联系起来。基于这些原理，我们引入一种将现有激活函数变换为具有更优性质的另一函数的过程。我们称此种变换为\emph{静态激活归一化}。更具体地，我们关注该归一化应用于 ReLU 单元，并凭经验表明其显著提升了收敛鲁棒性、最大训练深度与随时性能。我们通过考察用这些激活函数训练的网络的经验特征值分布来验证这些主张。我们的静态激活归一化为迈向提供类似于批归一化等方案精神的好处但无计算成本，迈出了第一步。