神经网络训练中的普适锐度动态：不动点分析、稳定性边缘与通向混沌的路径

在神经网络的梯度下降动态中，损失 Hessian 矩阵的最大特征值（锐度）在整个训练过程中表现出多种稳健现象。这包括训练早期锐度可能下降的早期阶段（锐度降低），以及后期行为如渐进锐化与稳定性边缘。我们证明，在单个训练样本上训练的简单$2$层线性网络（UV 模型）展现了真实世界场景中所观察到的全部本质锐度现象学。通过分析函数空间中动态不动点的结构以及函数更新的向量场，我们揭示了这些锐度趋势背后的潜在机制。我们的分析揭示了（i）早期锐度降低与渐进锐化背后的机制，（ii）稳定性边缘所需的条件，（iii）初始化与参数化的关键作用，以及（iv）随着学习率增大，在稳定性边缘流形上出现的倍周期通向混沌路径。最后，我们证明这一简化模型的多种预测可推广至真实世界场景，并讨论了其局限性。