朝向神经网络分类器无限宽度极限的一般理论
机器学习
2020-10-27 v3 机器学习
摘要
在一般情况下获得神经网络训练的理论保证似乎是一个难题。近期的研究集中于在无限宽度极限下研究该问题，并发展出了两种不同的理论：平均场（MF）与常数核（NTK）极限理论。我们提出了一个提供这些看似不同的理论之间联系的通用框架。我们的框架直接给出了一个离散时间MF极限，这是先前文献中未探索过的。我们证明了它的一个收敛定理，并表明如果学习率不是非常小，相比NTK极限，它提供了对有限宽度网络更合理的近似。此外，我们的框架暗示了一个既不与MF极限也不与NTK极限重合的极限模型。我们表明，对于具有多于两个隐藏层的网络，RMSProp训练具有非平凡的离散时间MF极限，而GD训练则没有。总体而言，我们的框架表明MF与NTK极限在近似有限规模神经网络方面都有相当大的局限，表明需要为它们设计更精确的无限宽度近似。
引用
@article{arxiv.2003.05884,
title = {Towards a General Theory of Infinite-Width Limits of Neural Classifiers},
author = {Eugene A. Golikov},
journal= {arXiv preprint arXiv:2003.05884},
year = {2020}
}
备注
27 pages, 7 figures, accepted to ICML'2020