作为随机梯度下降涨落平均场极限的守恒型 SPDE
概率论
2022-12-15 v2 机器学习
偏微分方程分析
机器学习
摘要
建立了随机相互作用粒子系统在平均场极限下收敛到守恒型随机偏微分方程（SPDE）解的结果，并具有最优收敛速率。作为第二个主要结果，推导了此类 SPDE 的定量中心极限定理，同样具有最优收敛速率。这些结果尤其适用于过参数化浅层神经网络中随机梯度下降动力学在平均场缩放下收敛到 SPDE 解的情形。研究表明，在极限 SPDE 中纳入涨落改善了收敛速率，并保留了随机梯度下降在连续极限中的涨落信息。
引用
@article{arxiv.2207.05705,
title = {Conservative SPDEs as fluctuating mean field limits of stochastic gradient descent},
author = {Benjamin Gess and Rishabh S. Gvalani and Vitalii Konarovskyi},
journal= {arXiv preprint arXiv:2207.05705},
year = {2022}
}
备注
65 pages