欠参数化神经网络中 MSE 梯度优化的隐式偏置

我们研究了通过梯度流优化均方误差时神经网络在函数空间中的动力学。我们表明，在欠参数化 regime 下，网络以对应于其特征值的速率学习由神经正切核（NTK）在无穷时刻确定的积分算子 $T_{K^\infty}$ 的特征函数。例如，对于球面 $S^{d - 1}$ 上均匀分布的数据和旋转不变权重分布，$T_{K^\infty}$ 的特征函数是球谐函数。我们的结果可理解为描述了欠参数化 regime 下的谱偏置。证明使用了“阻尼偏差（Damped Deviations）”的概念，其中由于阻尼因子的出现，对于具有大特征值的特征方向，NTK 的偏差影响较小。除欠参数化 regime 外，阻尼偏差的视角可用于跟踪过参数化设定下经验风险的动力学，使我们能够扩展文献中的某些结果。我们得出结论：阻尼偏差为优化平方误差时的动力学提供了一个简单且统一的视角。