深度网络中的谱动力学：特征学习、离群值逃逸与学习率迁移

我们研究了由（随机）梯度下降训练的宽神经网络中隐藏权重谱的演化。我们发展了一个双层动力学平均场理论（DMFT），该理论联合追踪了尖峰系综的体谱和离群值谱动力学，其中尖峰方向与随机体保持统计依赖。我们将此框架应用于两种情形：（1）平均场/$\mu$P 标度下的无限宽非线性网络，以及（2）在宽度、输入维度和样本量以固定比率发散的比例高维极限下的深度线性网络。我们的理论预测了离群值如何随训练时间、宽度、输出尺度和初始化方差演化。在深度线性网络中，$\mu$P 产生了宽度一致的离群值动力学和超参数迁移，包括主导 NTK 模式向稳定性边缘（EoS）的宽度稳定增长。相比之下，NTK 参数化尽管收敛到一个稳定的大宽度极限，却表现出强烈依赖于宽度的离群值动力学。我们表明，这种体群+离群值的图像适用于描述具有少量输出通道的简单任务，但涉及大量输出的任务（如 ImageNet 分类或 GPT 语言建模）则更好地由谱体群的重组来描述。我们开发了一个具有大量输出通道的玩具模型，它重现了这一现象，并表明对于足够宽的网络，谱边缘仍然收敛。