深度稳定神经网络：大宽度渐近性与收敛速率
机器学习
2022-06-27 v2 概率论
统计理论
机器学习
统计理论
摘要
在现代深度学习中，关于深度高斯神经网络（NNs，即权重为高斯分布的深度 NNs）的大宽度渐近性质与高斯随机过程（SPs）之间相互作用的文献近年日益增多。这种相互作用已被证明在基于高斯 SP 先验的贝叶斯推断、通过梯度下降训练的无限宽深度 NNs 的核回归以及无限宽 NNs 内的信息传播中至关重要。受经验分析表明以稳定（Stable）分布替代高斯分布作为 NN 权重的潜力所推动，本文对（全连接）前馈深度稳定 NNs（即权重为稳定分布的深度 NNs）的大宽度渐近行为进行了严格分析。我们证明当宽度在 NN 各层间联合趋于无穷（即“联合增长”设定）时，经重标度的深度稳定 NN 弱收敛于一个稳定 SP，其分布通过 NN 各层递归刻画。由于 NN 的非三角结构，这是一个非标准渐近问题，我们提出了一种具有独立意义的归纳方法。随后，在宽度的“联合增长”与“顺序增长”设定下，我们建立了重标度深度稳定 NN 到稳定 SP 的 sup-范数收敛速率。该结果给出了“联合增长”与“顺序增长”设定间的差异，表明前者依 NN 层深度与输入数量导致比后者更慢的速率。我们的工作将近期关于深度高斯 NNs 无限宽极限的若干结果推广至更一般的深度稳定 NNs，并给出了“联合增长”设定下收敛速率的首个结果。
引用
@article{arxiv.2108.02316,
title = {Deep Stable neural networks: large-width asymptotics and convergence rates},
author = {Stefano Favaro and Sandra Fortini and Stefano Peluchetti},
journal= {arXiv preprint arXiv:2108.02316},
year = {2022}
}
备注
Improve the proof of the main result in arXiv:2003.00394, and study convergence rates