关于具有多项式激活函数的宽网络的渐近性
机器学习
2020-06-15 v1 高能物理 - 理论
机器学习
摘要
我们考虑一个关于大宽度极限下神经网络渐近行为的现有猜想。该猜想导出的结果包括宽网络在随机梯度下降过程中的紧界，以及其有限宽度动力学的推导。我们证明了深度网络在多项式激活函数下的猜想，极大扩展了这些结果的适用性。最后，我们指出具有解析（且非线性）激活函数的网络与具有 ReLU 等分段线性激活函数的网络在渐近行为上的差异。
引用
@article{arxiv.2006.06687,
title = {On the asymptotics of wide networks with polynomial activations},
author = {Kyle Aitken and Guy Gur-Ari},
journal= {arXiv preprint arXiv:2006.06687},
year = {2020}
}
备注
8+12 pages, 6 figures, 2 tables