利用全方差定律评估与调整近似推断算法
统计计算
2019-11-21 v1
摘要
评估贝叶斯采样或近似推断方法有效性的一种常用方法，利用从先验中抽取参数的模拟数据复现。在连续性假设下，对应后验分布中模拟参数值函数的分位数服从均匀分布。当后验密度被数值近似时，检验均匀性可为算法有效性提供诊断。此外，为实现均匀性而进行的调整可改善近似推断方法的质量。该通用方法的一个弱点是似乎难以推广到标量兴趣函数之外。本文发展了基于分位数的检验与调整方法的替代方案，其本质上是多变量的。新方法基于条件期望的塔性质与全方差定律，以关联先验与后验期望和协方差。对于调整，近似推断被修正以使正确的先验到后验关系成立。我们在三个例子中说明该方法。第一个在似然自由推断问题中使用辅助模型。第二个考虑深度神经网络广义线性混合模型中变分贝叶斯近似的修正。我们最后的应用考虑用于近似高斯过程回归预测推断的深度神经网络替代物。
引用
@article{arxiv.1911.08725,
title = {Assessment and adjustment of approximate inference algorithms using the law of total variance},
author = {Xuejun Yu and David J. Nott and Minh-Ngoc Tran and Nadja Klein},
journal= {arXiv preprint arXiv:1911.08725},
year = {2019}
}