中文

哈密顿近似贝叶斯计算

机器学习 2015-03-09 v1 机器学习 定量方法

摘要

近似贝叶斯计算(Approximate Bayesian computation, ABC)是一个强大而优雅的框架,用于在基于模拟的模型中执行推断。然而,由于似然估计难以扩展,ABC 仍然仅适用于相对低维的问题。我们引入了哈密顿 ABC(Hamiltonian ABC, HABC),这是一组无似然算法,应用了利用哈密顿蒙特卡洛(Hamiltonian Monte Carlo, HMC)和随机梯度扩展贝叶斯学习的最新进展。我们发现,少量的前向模拟可以有效地近似 ABC 梯度,使得哈密顿动力学能够高效地遍历参数空间。我们还描述了一种新的简单而通用的方法,将随机种子纳入马尔可夫链的状态中,进一步减少了 HABC 的随机游走行为。我们在几个典型的 ABC 问题上展示了 HABC,并表明在高维机器学习问题上,HABC 的采样效果与使用真实梯度的常规贝叶斯推断相当。

关键词

引用

@article{arxiv.1503.01916,
  title  = {Hamiltonian ABC},
  author = {Edward Meeds and Robert Leenders and Max Welling},
  journal= {arXiv preprint arXiv:1503.01916},
  year   = {2015}
}

备注

Submission to UAI 2015