深度在过参数化线性贝叶斯神经网络中引发尺度平均
机器学习
2022-05-03 v1 机器学习
摘要
深度贝叶斯神经网络中的推断仅在无限宽度极限下被完全理解，此时由增加深度所带来的后验灵活性被抹平，后验预测退化为一个浅层高斯过程。在此，我们将有限深线性贝叶斯神经网络解释为跨输出通道的数据依赖尺度混合高斯过程预测器。我们利用这一观察来研究这些网络中的表示学习，从而能够将先前研究中得到的极限结果统一在一个框架内联系起来。总体而言，这些结果增进了我们对深度如何影响一类简单贝叶斯神经网络中推断的分析性理解。
引用
@article{arxiv.2111.11954,
title = {Depth induces scale-averaging in overparameterized linear Bayesian neural networks},
author = {Jacob A. Zavatone-Veth and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2111.11954},
year = {2022}
}
备注
8 pages, no figures