广度宽度二次神经网络梯度流的高维分析
最优化与控制
2026-01-16 v1 无序系统与神经网络
机器学习
摘要
我们研究浅层二次激活函数神经网络在教师-学生框架下的高维训练动力学。我们关注广度扩展的 regime，即教师和学生网络宽度与输入维度按比例扩展，样本数量随输入维度的平方增长。这一扩展旨在描述在特征学习仍起核心作用的过参数化神经网络。在高维极限下，我们以动力学均值场理论（DMFT）的 spirit 形式推导梯度流的动力学特征。在 l2 正则化下，我们分析这些方程在长时间尺度上的行为，刻画所得估计器的性能和谱特征。该结果对过参数化对学习与泛化的影响提供了定量理解，揭示了在标签噪声存在下出现双下降现象，其中泛化能力可在插值点之后得以提升。在小正则化极限下，我们获得网络宽度函数形式的最佳恢复阈值的精确表达式，精确刻画了过参数化如何影响恢复。
引用
@article{arxiv.2601.10483,
title = {High-Dimensional Analysis of Gradient Flow for Extensive-Width Quadratic Neural Networks},
author = {Simon Martin and Giulio Biroli and Francis Bach},
journal= {arXiv preprint arXiv:2601.10483},
year = {2026}
}