贝叶斯神经网络中马尔可夫链蒙特卡罗方法的挑战
机器学习
2021-10-05 v6 机器学习
统计计算
统计方法学
摘要
马尔可夫链蒙特卡罗（MCMC）方法尚未在贝叶斯神经网络（BNNs）中得到广泛采用。本文首先回顾了通过 MCMC 从神经网络参数后验中采样的主要挑战。这些挑战最终归结为无法收敛到参数后验。尽管如此，本文表明，通过从神经网络参数空间进行 MCMC 采样所生成的非收敛马尔可夫链，可经由贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知机的分类示例展示了高度准确的后验预测分布。关于 BNN 中 MCMC 发展范围有限的假设部分成立；渐近精确的参数后验似乎不太可行，但准确的后验预测分布是一条可行的研究途径。
引用
@article{arxiv.1910.06539,
title = {Challenges in Markov chain Monte Carlo for Bayesian neural networks},
author = {Theodore Papamarkou and Jacob Hinkle and M. Todd Young and David Womble},
journal= {arXiv preprint arXiv:1910.06539},
year = {2021}
}