批归一化的平均场理论

我们为全连接前馈神经网络中的批归一化发展了平均场理论。在此过程中，我们精确刻画了宽批归一化网络在初始化时的信号传播与梯度反向传播。我们的理论表明，梯度信号随深度呈指数增长，且这些梯度爆炸无法通过调整初始权重方差或调节非线性激活函数来消除。事实上，批归一化本身就是梯度爆炸的成因。因此，对于常见初始化方案，不带跳跃连接的原始批归一化网络在较大深度下不可训练，这一预测我们通过多种实证模拟进行了验证。虽然梯度爆炸无法消除，但可通过将网络调谐至接近线性区域来减弱，从而改善无残差连接的深度批归一化网络的可训练性。最后，我们研究了批归一化网络的学习动力学，并观察到在单步优化后网络达到一种相对稳定的平衡，其中梯度的动态范围大幅缩小。我们的理论利用了拉普拉斯、傅里叶和盖根鲍尔变换，并推导了新的恒等式，这些可能具有独立意义。