贝叶斯推断的自由能方法：单变量高斯混合后验的高效探索
统计计算
2011-04-19 v4 统计理论
统计理论
摘要
由于混合后验分布具有多模态性，使用标准马尔可夫链蒙特卡洛（MCMC）方法对其进行采样十分困难。我们提出了一种策略，利用源自计算统计物理学的偏置过程来增强MCMC在此背景下的采样。其原理首先是选择一个“反应坐标”，即目标分布呈现多模态的某个“方向”。第二步，估计反应坐标相对于后验分布的边际对数密度；在计算统计物理学文献中，该量的负值被称为“自由能”。为此，我们使用了自适应偏置马尔可夫链算法，该算法会动态调整其目标不变分布，以克服沿所选反应坐标的采样障碍。最后，我们执行重要性采样步骤以去除偏置并恢复真实后验。一旦偏置已知，重要性采样步骤的效率因子可以很容易地先验估计，并且在我们考虑的测试案例中显得相当大。一个关键点是反应坐标的选择。一个标准选择（例如在经典Wang-Landau算法中使用的）是负对数后验密度。我们讨论了其他选择。我们特别表明，决定每个分量方差数量级的超参数既是一个方便也是一个高效的反应坐标。我们还展示了如何调整该方法以计算混合模型的证据（边际似然）。我们通过分析两个真实数据集来阐述我们的方法。
引用
@article{arxiv.1003.0428,
title = {Free Energy Methods for Bayesian Inference: Efficient Exploration of Univariate Gaussian Mixture Posteriors},
author = {Nicolas Chopin and Tony Lelievre and Gabriel Stoltz},
journal= {arXiv preprint arXiv:1003.0428},
year = {2011}
}