中文

基于Stein方法的高斯随机场逼近及其在宽随机神经网络中的应用

概率论 2024-05-02 v2 机器学习 统计理论 机器学习 统计理论

摘要

我们基于Stein方法,推导了由 nn-球面索引的任意连续 Rd\mathbb{R}^d 值随机场与高斯场之间关于 sup\sup-范数的Wasserstein距离(W1W_1)的上界。我们开发了一种新颖的高斯平滑技术,可将更光滑度量下的界转移到 W1W_1 距离。该平滑基于使用拉普拉斯算子的幂构造的协方差函数,使得相关高斯过程具有易处理的Cameron-Martin空间或再生核希尔伯特空间。这一特性使我们超越了文献中先前考虑的一维区间型索引集。将一般结果专门化,我们获得了任意深度和Lipschitz激活函数的宽随机神经网络在随机场层面上的高斯随机场逼近的首个界。我们的界显式地用网络宽度和随机权重的矩表示。当激活函数具有三个有界导数时,我们还获得了更紧的界。

关键词

引用

@article{arxiv.2306.16308,
  title  = {Gaussian random field approximation via Stein's method with applications to wide random neural networks},
  author = {Krishnakumar Balasubramanian and Larry Goldstein and Nathan Ross and Adil Salim},
  journal= {arXiv preprint arXiv:2306.16308},
  year   = {2024}
}

备注

To appear in Applied and Computational Harmonic Analysis