多层神经网络学习动力学的平均场极限
机器学习
2019-02-11 v1 无序系统与神经网络
统计力学
机器学习
摘要
多层神经网络——通常构造为跨层具有许多非线性激活神经元的高度复杂结构——能否以某种非平凡的方式表现，却又简化掉其大部分复杂性？在这项工作中，我们揭示了一种现象：在适当的缩放和随机梯度下降动力学下，这些复杂网络的行为随着神经元数量增长到足够大而变得与该数量无关。我们发展了一种形式体系，以一组方程捕捉这种大神经元数量极限行为，从而暴露出这些网络先前未知的运行机制。尽管当前的探讨在数学上并非严格，但辅以若干验证该行为存在的实验。
引用
@article{arxiv.1902.02880,
title = {Mean Field Limit of the Learning Dynamics of Multilayer Neural Networks},
author = {Phan-Minh Nguyen},
journal= {arXiv preprint arXiv:1902.02880},
year = {2019}
}