深度 Stable 神经网络的无限宽极限：次线性、线性和超线性激活函数
机器学习
2023-04-11 v1 机器学习
摘要
关于深度高斯神经网络（NN）即参数或权重服从高斯分布的深度 NN 与高斯随机过程的大宽度性质的研究文献日益增多。受一些实证和理论研究表明以 Stable 分布（即重尾分布）替代高斯分布的潜力所推动，本文研究深度 Stable NN（即参数服从 Stable 分布的深度 NN）的大宽度性质。对于次线性激活函数，近期工作已在宽度随网络层“联合增长”和“顺序增长”两种假设下，用 Stable 随机过程刻画了适当重标度的深度 Stable NN 的无限宽极限。此处，在宽度“顺序增长”的假设下，我们将此类刻画推广到一类广义的激活函数，包括次线性、渐近线和超线性函数。相较于以往工作的新颖之处在于，我们的结果依赖于重尾分布的广义中心极限定理，从而可对深度 Stable NN 的无限宽极限进行有趣的统一定量处理。我们的研究表明，Stable NN 的标度及其无限宽极限的稳定性可能取决于激活函数的选择，这凸显了与高斯情形下的关键差异。
引用
@article{arxiv.2304.04008,
title = {Infinitely wide limits for deep Stable neural networks: sub-linear, linear and super-linear activation functions},
author = {Alberto Bordino and Stefano Favaro and Sandra Fortini},
journal= {arXiv preprint arXiv:2304.04008},
year = {2023}
}
备注
20 pages, 2 figures