从宽网络 Feynman 图看其渐近行为
机器学习
2019-09-26 v1 高能物理 - 理论
机器学习
摘要
理解宽网络的渐近行为具有相当意义。本工作中，我们提出一种分析此大宽度行为的通用方法。该方法是对 Feynman 图（一种计算多元高斯积分的标准工具）的改造。我们将方法应用于研究训练动态，改进现有界并推导关于随机梯度下降中宽网络演化的新结果。超越严格的大宽度极限，我们给出控制宽网络训练的高阶项的闭式表达，并对这些预测进行实证检验。
引用
@article{arxiv.1909.11304,
title = {Asymptotics of Wide Networks from Feynman Diagrams},
author = {Ethan Dyer and Guy Gur-Ari},
journal= {arXiv preprint arXiv:1909.11304},
year = {2019}
}
备注
10 pages, 3 figures, 1 Table + Appendices