多项式网络收敛到高斯过程的速率

我们研究具有随机权重的单隐藏层神经网络。众所周知，在神经元数量趋于无穷的极限下，它们简化为高斯过程。对于具有多项式激活函数的网络，我们证明了在2-Wasserstein度量下该收敛的速率为$O(n^{-\frac{1}{2}})$，其中$n$为隐藏神经元的数量。我们推测该速率是渐近尖锐的。我们将其他激活函数的已知收敛速率予以改进：ReLU为关于$n$的幂律，erf在至多对数因子意义下为反平方根。我们探讨了非各向同性情形下球谐函数、Stein核与最优传输之间的相互作用。