Xavier初始化的神经网络尺度极限与到全局最小值的收敛

我们分析具有Xavier初始化的单层神经网络在隐藏单元数量与随机梯度下降训练步数均很大的渐近 regime。训练期间神经网络的演化可视为随机系统，利用随机分析技术，我们证明神经网络依分布收敛到具有高斯分布的随机ODE。该极限与典型的神经网络平均场结果完全不同，原因在于Xavier初始化中的$\frac{1}{\sqrt{N}}$归一化因子（相对于典型平均场框架中的$\frac{1}{N}$因子）。尽管优化神经网络的前极限问题是非凸的（因此神经网络可能收敛到局部最小值），极限方程最小化一个（二次）凸目标函数，从而收敛到全局最小值。此外，在合理假设下，极限二次目标函数中的矩阵是正定的，因此神经网络（在极限下）将以零损失在训练集上收敛到全局最小值。