神经网络的均值场分析：一个中心极限定理
概率论
2019-06-04 v2 统计理论
机器学习
统计理论
摘要
我们严格证明了具有单个隐藏层的神经网络模型的中心极限定理。该中心极限定理在同时（A）大量隐藏单元和（B）大量随机梯度下降训练迭代的渐近 regime 下被证明。我们的结果描述了神经网络在其均值场极限附近的波动。这些波动具有高斯分布并满足一个随机偏微分方程。证明依赖于随机分析中的弱收敛方法。特别地，我们证明了过程序列的相对紧性以及极限过程在合适Sobolev空间中的唯一性。
引用
@article{arxiv.1808.09372,
title = {Mean Field Analysis of Neural Networks: A Central Limit Theorem},
author = {Justin Sirignano and Konstantinos Spiliopoulos},
journal= {arXiv preprint arXiv:1808.09372},
year = {2019}
}