基于伴随微分拉普拉斯近似的哈密顿蒙特卡洛：潜高斯模型及更广领域的贝叶斯推断
统计计算
2020-11-09 v4
摘要
高斯潜变量模型是一类关键的贝叶斯层次模型，在许多领域都有应用。对此类模型进行贝叶斯推断可能具有挑战性，因为马尔可夫链蒙特卡洛算法难以应对所得后验分布的几何结构，且可能慢得令人望而却步。一种替代方案是使用拉普拉斯近似将潜高斯变量边缘化，然后利用动态哈密顿蒙特卡洛（一种基于梯度的马尔可夫链蒙特卡洛采样器）对剩余超参数进行积分。为高效实现该方案，我们推导了一种新颖的伴随方法，其传播构建近似边缘似然梯度所需的最小信息。该策略产生了一种可扩展的微分方法，在超参数为高维时比最先进的微分技术快数个数量级。我们在概率编程框架 Stan 中对该方法进行了原型实现，并在多个模型上测试了所嵌入拉普拉斯近似的效用，其中一个模型的超参数维数为 6,000。视具体情况，其益处可包括缓解困扰哈密顿蒙特卡洛的几何病态以及显著的加速。
引用
@article{arxiv.2004.12550,
title = {Hamiltonian Monte Carlo using an adjoint-differentiated Laplace approximation: Bayesian inference for latent Gaussian models and beyond},
author = {Charles C. Margossian and Aki Vehtari and Daniel Simpson and Raj Agrawal},
journal= {arXiv preprint arXiv:2004.12550},
year = {2020}
}
备注
18 pages, 5 figures