基于对称分裂的贝叶斯神经网络哈密顿蒙特卡罗推断的规模化
机器学习
2020-10-15 v1 机器学习
摘要
哈密顿蒙特卡罗（HMC）是一种马尔可夫链蒙特卡罗（MCMC）方法，在如神经网络的高维模型中表现出良好的探索性质。遗憾的是，HMC 在大数据场景中使用有限，且鲜有工作探索旨在保留完整哈密顿量的合适方法。在我们的工作中，我们引入了一种不依赖随机梯度的分裂 HMC 新对称积分方案。我们表明新公式比先前方法更高效且易于用单个 GPU 实现。因此，我们能够对常见深度学习架构使用整个数据集执行完整 HMC。此外，当与随机梯度 MCMC 比较时，我们表明我们的方法在准确率和不确定性量化上均取得更好性能。我们的方法证明了在考虑大规模机器学习问题的推断方案时 HMC 是一个可行选项。
引用
@article{arxiv.2010.06772,
title = {Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting},
author = {Adam D. Cobb and Brian Jalaian},
journal= {arXiv preprint arXiv:2010.06772},
year = {2020}
}
备注
11 pages, 13 figures