损失景观中存在一个奇点

尽管神经网络已被广泛采用，其训练动力学仍知之甚少。我们通过实验表明，随着数据集规模增大，会形成一个点，使得损失梯度的模变为无界。梯度下降迅速将网络带至参数空间中该奇点附近，并在其邻域进行后续训练。该奇点解释了近期在神经网络损失函数 Hessian 中观察到的多种现象，例如稳定性边缘上的训练（training on the edge of stability）以及梯度在顶部子空间中的集中。一旦网络逼近该奇点，即便顶部子空间构成了梯度的绝大部分，其对学习的贡献也微乎其微。