神经网络由高斯过程进行非渐近逼近
概率论
2021-02-18 v1 机器学习
机器学习
摘要
我们研究了在随机权重初始化下，宽神经网络可在多大程度上由高斯过程逼近。一个公认的事实是，随着网络宽度趋于无穷，其律收敛于高斯过程的律。我们通过建立无限维函数空间中中心极限定理的显式收敛速率（以自然传输距离度量）使这一结论定量化。我们识别出两个感兴趣的机制：当激活函数为多项式时，其阶数决定收敛速率；而对于非多项式激活函数，速率由函数的光滑性支配。
引用
@article{arxiv.2102.08668,
title = {Non-asymptotic approximations of neural networks by Gaussian processes},
author = {Ronen Eldan and Dan Mikulincer and Tselil Schramm},
journal= {arXiv preprint arXiv:2102.08668},
year = {2021}
}
备注
18 pages