线性神经网络中梯度下降算法的几何分析方法

本文提出一种几何框架，用于分析线性神经网络背景下梯度下降轨迹的收敛性质。我们将线性神经网络的著名经验观察转化为一个称为“过拟合猜想”的猜想，其表述为：对几乎所有训练数据与初始条件，相应梯度下降系统的轨迹收敛到全局最小值。这意味着，对于任意隐藏层数的线性神经网络，朴素梯度下降算法所得解等价于最小二乘估计解。基于网络结构引发的关键不变性性质，我们首先建立了任意深度线性网络的梯度下降轨迹收敛到平方损失函数临界点的结果。我们的第二个结果是，在单隐藏层线性网络情形下，基于正规双曲性概念并基于训练数据的泛型性质（即对几乎所有训练数据成立），证明了该“过拟合猜想”。