超越独立同分布权重：稀疏与低秩深度神经网络也是高斯过程
机器学习
2024-03-19 v3 机器学习
摘要
无限宽神经网络已被证明是一种有用且易于处理的数学模型，能够理解深度学习中出现的许多现象。一个例子是随机深度网络收敛到高斯过程，这使得能够严格分析激活函数和网路权重的选择如何影响训练动态。在本文中，我们将Matthews等人（2018）的开创性证明扩展到更大类的初始权重分布（我们称之为PSEUDO-IID），包括已确立的IID和正交权重情形，以及因计算加速优势而受到关注的新兴低秩和结构化稀疏设置。我们表明，用PSEUDO-IID分布初始化的全连接和卷积网络在其方差上都等效。利用我们的结果，可以识别更广泛类神经网络的混沌边缘（Edge-of-Chaos）并将其调至临界状态以增强训练。此外，它们使得贝叶斯神经网络的后验分布在这些各种初始化方案下都是可处理的。
引用
@article{arxiv.2310.16597,
title = {Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes},
author = {Thiziri Nait-Saada and Alireza Naderi and Jared Tanner},
journal= {arXiv preprint arXiv:2310.16597},
year = {2024}
}