通过动力学均值场理论探讨随机梯度流的高维极限
机器学习
2026-02-17 v2 无序系统与神经网络
机器学习
摘要
现代机器学习模型通常通过小批量多次随机梯度下降（SGD）进行训练，理解其在高维中的动态过程备受关注。然而，目前缺乏描述多次小批量 SGD 在非线性模型中高维渐近行为的解析框架。本研究通过分析称为“随机梯度流”（SGF）的随机微分方程的高维动力学，来填补这一空白。我们推导在数据样本数 与维数 按比例增长的极限下，一个封闭的低维连续时间方程组，并证明它刻画了 SGF 参数的渐近分布。我们的理论基于动力学均值场理论（DMFT），适用于广泛的模型，包括广义线性模型和两层神经网络。我们进一步表明，所得 DMFT 方程可恢复若干现有 SGD 动力学的高维描述作为特殊情况，从而为在线 SGD 和高维线性回归等先前框架提供了统一视角。我们的证明基于现有 DMFT 技术处理梯度流，并扩展以处理 SGF 中的随机性，运用了随机微积分工具。
引用
@article{arxiv.2602.06320,
title = {High-Dimensional Limit of Stochastic Gradient Flow via Dynamical Mean-Field Theory},
author = {Sota Nishiyama and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:2602.06320},
year = {2026}
}