随机 ReLU 神经网络作为非高斯过程
机器学习
2025-02-13 v2 机器学习
概率论
摘要
我们考察了一大类具有随机初始化参数并采用线性整流函数（ReLU）激活函数的浅层神经网络。我们证明了这些随机神经网络是 well-defined non-Gaussian processes。作为副产品，我们展示了这些网络是由 impulsive white noise（随机 Dirac 测度的组合）驱动的随机微分方程的解。这些过程由权重和偏置的分布以及每个有界输入域区域内激活阈值密度进行参数化。我们证明了这些过程是各向同性的，并且在 Hurst 指数 3/2 下宽相似的。我们还推导出它们的自相关函数的惊人简单闭式表达式。我们的结果与以往工作根本不同，在于我们考虑非渐近视角：每个有界输入域区域内的神经元数量（即宽度）本身是一个服从泊松分布的随机变量，其均值与密度参数成正比。最后，我们表明，在期望宽度趋于无穷大时，这些过程在适当假设下可以收敛到高斯过程，也可以收敛到取决于权重分布的非高斯过程。我们的渐近结果为重新审视几类经典结果（宽网络收敛于高斯过程）提供了新视角，也带来了一些新发现（宽网络可以收敛于非高斯过程）。
引用
@article{arxiv.2405.10229,
title = {Random ReLU Neural Networks as Non-Gaussian Processes},
author = {Rahul Parhi and Pakshal Bohra and Ayoub El Biari and Mehrsa Pourya and Michael Unser},
journal= {arXiv preprint arXiv:2405.10229},
year = {2025}
}