关于神经网络学习动力学最优点处的教师-学生视角

在神经网络的最优学习点附近，梯度下降动力学的学习性能由损失函数关于网络参数的 Hessian 矩阵决定。我们对教师-学生问题中的 Hessian 特征谱进行表征，分析当教师和学生网络权重匹配时，Hessian 的较小特征值如何决定长期学习性能。对于线性网络，我们严格建立了在大规模网络下，谱渐近地遵循缩放 chi 方分布与缩放 Marchenko-Pastur 分布卷积的解析结果。我们对多项式和其他非线性网络的 Hessian 谱进行数值分析。此外，我们表明，针对使用多项式激活函数的网络，Hessian 矩阵的秩可视为网络有效参数数的度量。对于通用非线性激活函数（如误差函数），我们经验观察到 Hessian 矩阵始终为满秩。