无限宽深度神经网络的稳定行为
机器学习
2020-03-03 v1 机器学习
摘要
我们考虑全连接前馈深度神经网络(NN),其中权重和偏置独立同分布为对称中心稳定分布。接着,我们证明在权重的适当缩放下,该 NN 的无限宽极限是一个随机过程,其有限维分布为多元稳定分布。该极限过程被称为稳定过程,它推广了近期作为 NN 无限宽极限得到的 Gaussian 过程类(Matthews 等,2018b)。稳定过程的参数可通过网络层上的显式递推计算。我们的结果有助于全连接前馈深度 NN 的理论,并为拓展近期依赖于 Gaussian 无限宽极限的研究路线铺平了道路。
引用
@article{arxiv.2003.00394,
title = {Stable behaviour of infinitely wide deep neural networks},
author = {Stefano Favaro and Sandra Fortini and Stefano Peluchetti},
journal= {arXiv preprint arXiv:2003.00394},
year = {2020}
}
备注
25 pages, 3 figures