宽贝叶斯神经网络的精确后验分布
机器学习
2020-11-30 v2 机器学习
摘要
近期工作表明，当所有层的宽度趋于无穷大时，深度贝叶斯神经网络(BNN)诱导的函数先验表现为高斯过程(GP)。然而，许多 BNN 应用关注的是 BNN 函数空间后验。尽管 Neal (1996) 和 Matthews et al. (2018) 的原始工作提供了后验收敛的一些经验证据，但由于获取并验证 BNN 后验逼近精确性存在众所周知的困难，这些证据仅局限于小数据集或小架构。我们提供了缺失的理论证明，证明精确的 BNN 后验（弱）收敛于先验的 GP 极限所诱导的后验。为了进行实证验证，我们展示了如何通过拒绝采样从小数据集上的有限 BNN 中生成精确样本。
引用
@article{arxiv.2006.10541,
title = {Exact posterior distributions of wide Bayesian neural networks},
author = {Jiri Hron and Yasaman Bahri and Roman Novak and Jeffrey Pennington and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2006.10541},
year = {2020}
}