神经网络过参数化对梯度混淆与随机梯度下降的影响

本文研究神经网络架构如何影响训练速度。我们引入一个称为梯度混淆的简单概念来帮助形式化分析这一点。当梯度混淆较高时，不同数据样本产生的随机梯度可能呈负相关，从而减慢收敛。但当梯度混淆较低时，数据样本和谐交互，训练快速进行。通过理论和实验结果，我们展示了神经网络架构如何影响梯度混淆，进而影响训练效率。我们的结果表明，对于流行的初始化技术，增加神经网络宽度会导致更低的梯度混淆，从而加快模型训练。另一方面，增加神经网络深度具有相反效果。我们的结果表明，替代初始化技术或使用批归一化与跳跃连接的网络有助于减轻极深网络的训练负担。