归一化对深度神经网络的影响

我们研究了归一化对前馈型深度神经网络各层的影响。给定具有 $N_{i}$ 个隐藏单元的第 $i$ 层允许按 $1/N_{i}^{\gamma_{i}}$ 进行归一化，其中 $\gamma_{i}\in[1/2,1]$，我们研究了 $\gamma_{i}$ 的选择对神经网络输出的统计行为（如方差）以及在 MNIST 数据集上测试精度的影响。我们发现，就神经网络输出的方差和测试精度而言，最佳选择是令 $\gamma_{i}$ 均等于 1，即平均场缩放。我们还发现这一点对外层尤为成立，因为相对于内层缩放，神经网络的行为对外层缩放更为敏感。数学分析的机制是神经网络输出的渐近展开。该分析的一个重要实际结果是，它提供了一种系统且基于数学依据的超参数学习率选择方法。这种选择保证了随着 $N_i$ 增长至无穷，神经网络以统计稳健的方式表现。