归一化对浅层神经网络的影响及相关渐近展开

我们考虑浅层（单隐藏层）神经网络，并在隐藏单元数 $N$ 与梯度下降步数趋于无穷时，刻画其以随机梯度下降训练时的表现。特别地，我们研究不同缩放方案（导致神经网络的不同归一化）对网络统计输出的影响，弥合了 $1/\sqrt{N}$ 与平均场 $1/N$ 归一化之间的差距。我们针对缩放参数，在隐藏单元数趋于无穷时，对神经网络的统计输出建立了逐点渐近展开。基于此展开，我们从数学上证明，在 $N$ 的主导阶上不存在偏差-方差权衡，即随着隐藏单元数增加与时间增长，偏差与方差（均被显式刻画）均下降。此外，我们表明在 $N$ 的主导阶上，神经网络统计输出的方差随缩放参数所隐含的归一化接近平均场归一化而衰减。在MNIST与CIFAR10数据集上的数值研究表明，随着神经网络归一化更接近平均场归一化，测试与训练准确率单调提升。