用集成IS和WAIC近似贝叶斯潜变量模型中的交叉验证预测评估
统计方法学
2017-04-28 v5
摘要
近似样本外预测评估的一种自然方法是留一交叉验证（LOOCV）——我们轮流从完整数据集中保留每个案例，然后使用马尔可夫链蒙特卡罗（MCMC）在不包含保留案例的情况下训练贝叶斯模型；最后，我们根据实际观测值评估所有案例的后验预测分布。然而，实际的LOOCV非常耗时。本文介绍了两种方法，即iIS和iWAIC，用于仅使用基于完整数据集的后验模拟的马尔可夫链样本来近似LOOCV。iIS和iWAIC旨在改进重要性采样（IS）和WAIC在可能具有相关潜变量的贝叶斯模型中的近似。在iIS和iWAIC中，我们首先将预测密度在保留案例相关潜变量的分布上积分（不参考其观测值），然后将IS和WAIC近似应用于积分后的预测密度。我们在三个真实数据示例中比较了iIS和iWAIC与其他近似方法，这些示例分别使用了混合模型、具有相关空间效应的模型以及随机效应逻辑模型。我们的实证结果表明，iIS和iWAIC比非集成的IS和WAIC以及其他方法提供了显著更好的近似。
引用
@article{arxiv.1404.2918,
title = {Approximating Cross-validatory Predictive Evaluation in Bayesian Latent Variables Models with Integrated IS and WAIC},
author = {Longhai Li and Shi Qiu and Bei Zhang and Cindy X. Feng},
journal= {arXiv preprint arXiv:1404.2918},
year = {2017}
}
备注
38 pages