具有相反信号的离群值对神经网络优化有超大影响

我们识别了神经网络优化中一种由深度与自然数据中特定重尾结构相互作用而产生的新现象。我们的结果为先前报道的若干关于网络训练动态的观察提供了直观解释。特别地，它暗示了渐进锐化与稳定性边缘的一个概念上新成因；我们还强调了其与优化和泛化中其他概念的联系，包括 grokking、简洁性偏置和 Sharpness-Aware Minimization。在实验上，我们展示了训练数据中具有强烈相反信号的成对离群组群的显著影响：一致的、大幅度特征在整个训练过程中主导网络输出，并提供指向相反方向的梯度。由于这些离群值，早期优化进入一个狭窄山谷，谨慎地平衡相反组群；随后的锐化导致其损失快速上升，在一个组群和另一个组群之间振荡，直到总体损失骤增。我们描述了如何识别这些组群，探究了它们的区别特征，并仔细研究了它们对网络优化和行为的影响。我们用一个相反信号的玩具示例的机制性解释和关于简单模型上两层线性网络的理论分析补充了这些实验。我们的发现实现了对训练行为的新定性预测，并通过实验证实。它还提供了一个新的视角来研究和改进随机优化的现代训练实践，我们通过 Adam 与 SGD 的案例研究对此进行了强调。