具有高斯权权的宽深度神经网络非常接近高斯过程
统计理论
2023-12-20 v1 概率论
机器学习
统计理论
摘要
对于具有高斯参数（权重和偏置）和 Lipschitz 激活函数的随机深度神经网络，我们在宽极限下确立了其高斯逼近的新颖速率。只要无限宽度协方差满足特定的非退化条件，我们的界限适用于在任意有限输入集上评估的网络联合输出。我们证明了网络输出与相应高斯逼近之间的距离与网络宽度成反比，表现出比中心极限定理所建议的朴素启发式更快的收敛速度。我们还应用我们的界限获得了网络精确 Bayesian 后验分布的理论逼近，前提是似然是网络输出在（有限）训练集上评估的有界 Lipschitz 函数。这包括了诸如高斯似然（即均方误差的负指数）等常见情况。
引用
@article{arxiv.2312.11737,
title = {Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes},
author = {Dario Trevisan},
journal= {arXiv preprint arXiv:2312.11737},
year = {2023}
}