利用自动微分估计后验矩、边缘分布与样本
统计计算
2024-06-19 v2 统计理论
统计理论
摘要
重要性采样是贝叶斯推断中一项流行技术：通过对提议分布抽取的样本进行重加权，我们能够从关于潜变量的贝叶斯后验中获得样本与矩估计。然而，近期研究表明重要性采样扩展性差——为准确近似真实后验，所需的重要性样本数量随潜变量数量呈指数增长[Chatterjee and Diaconis, 2018]。大规模并行重要性采样通过为每个 个潜变量抽取 个样本并推理全部 个潜变量样本组合，绕开了该问题。原则上，我们可以利用生成模型中的条件独立性，在 个样本组合上高效推理。但在实践中，这需要复杂的算法反向遍历图模型，且每个计算（后验期望、边缘分布与样本）都需单独的反向遍历。我们的贡献是借助物理学中的源项技巧，完全避免手写反向遍历的需要。相反，我们展示了如何通过对略加修改的边缘似然估计量求导，简单轻松地计算所有所需量——后验期望、边缘分布与样本。
引用
@article{arxiv.2310.17374,
title = {Using Autodiff to Estimate Posterior Moments, Marginals and Samples},
author = {Sam Bowyer and Thomas Heap and Laurence Aitchison},
journal= {arXiv preprint arXiv:2310.17374},
year = {2024}
}