利用双向蒙特卡洛测量 MCMC 推断的可靠性
机器学习
2016-06-08 v1 统计计算
机器学习
摘要
马尔可夫链蒙特卡洛(MCMC)是概率推断的主要主力工具之一，但衡量近似后验样本的质量出了名地困难。这一挑战在黑盒推断方法中尤为突出，因为这些方法会隐藏细节并掩盖推断失败。在本工作中，我们扩展了最近引入的双向蒙特卡洛技术，以评估基于 MCMC 的后验推断算法。通过在模拟数据上从先验到后验以及反向运行退火重要性采样(AIS)链，我们给出了真实后验分布与近似样本分布之间对称化 KL 散度的期望上界。我们提出了使用反向退火界定散度(BREAD)，这是一种用于验证模拟数据实验与真实数据集相关性的协议，并将其集成到两种概率编程语言中：WebPPL 和 Stan。作为 BREAD 如何用于指导推断算法设计的示例，我们应用它来研究不同模型表示在 WebPPL 和 Stan 中的有效性。
引用
@article{arxiv.1606.02275,
title = {Measuring the reliability of MCMC inference with bidirectional Monte Carlo},
author = {Roger B. Grosse and Siddharth Ancha and Daniel M. Roy},
journal= {arXiv preprint arXiv:1606.02275},
year = {2016}
}