线性宽度神经网络的谱演化与不变性

我们研究了线性宽度前馈神经网络的谱性质，其中样本量渐近正比于网络宽度。通过实验，我们表明在高维机制下，当以小的常数学习率通过梯度下降训练时，权重的谱是不变的；我们为这一观察提供了理论依据，并证明了共轭核与神经切线核的体谱不变性。我们在以小学习率使用随机梯度下降训练时展示了类似特征。当学习率较大时，我们展示了离群值的出现，其对应特征向量与训练数据结构对齐。我们还表明，在自适应梯度训练后，出现了更低的测试误差与特征学习，权重与核矩阵均表现出重尾行为。我们给出简单例子解释重尾何时能带来更好的泛化。我们利用不同的训练策略从两层神经网络展示了不同的谱性质，如不变体、尖峰与重尾分布，并将其与特征学习相关联。当我们使用真实世界数据训练常规神经网络时，类似现象也会出现。我们得出结论：在训练期间监测谱的演化是理解训练动态与特征学习的关键一步。