平均场变分贝叶斯的协方差矩阵与影响分数
机器学习
2015-02-27 v1 统计方法学
摘要
平均场变分贝叶斯(MFVB)是一种流行的后验近似方法，因其在大规模数据集上的快速运行时间而广受青睐。然而，众所周知，MFVB的一个主要缺陷是它低估了模型变量的不确定性(有时严重)，并且不提供关于模型变量协方差的信息。我们针对指数族开发了一种快速、通用的方法论，扩充MFVB以对模型变量提供准确的不确定性估计——既针对单个变量，也在变量间连贯地提供。指数族下的MFVB在近似后验的均值上定义了一个不动点方程，而我们的方法通过扰动该不动点得到协方差估计。受线性响应理论启发，我们称我们的方法为线性响应变分贝叶斯(LRVB)。我们还展示了如何使用LRVB快速计算单个数据点对参数点估计的影响程度的度量。我们通过针对模拟和真实数据学习高斯混合模型，证明了我们方法的准确性和可扩展性。
引用
@article{arxiv.1502.07685,
title = {Covariance Matrices and Influence Scores for Mean Field Variational Bayes},
author = {Ryan Giordano and Tamara Broderick},
journal= {arXiv preprint arXiv:1502.07685},
year = {2015}
}
备注
28 pages, 5 figures, submitted to ICML 2015