轨迹对齐：通过分岔理论理解稳定性边缘现象

Cohen 等人（2021）通过实证研究了损失 Hessian 最大特征值（亦称锐度）沿梯度下降（GD）轨迹的演化，并观察到稳定性边缘（EoS）现象。锐度在训练早期阶段增加（称为渐进锐化），并最终饱和至接近 $2 / \text{(步长)}$ 的阈值。在本文中，我们首先通过实证研究表明，当 EoS 现象发生时，不同的 GD 轨迹（经过适当重参数化后）在独立于初始化的特定分岔图上对齐。随后，我们严格证明了这一现象（轨迹对齐）对于使用单个数据点训练的双层全连接线性网络以及单神经元非线性网络成立。我们的轨迹对齐分析同时确立了渐进锐化和 EoS 现象，涵盖并推广了文献中的近期发现。