高维下拉普拉斯近似的精度:精细化分析与新的偏度修正
统计理论
2024-06-10 v3 统计理论
摘要
在贝叶斯推断中,对感兴趣参数进行推导需要从后验分布中采样或计算积分。在高维情形下降低这些计算开销的一种流行方法,是用拉普拉斯近似(LA,一种高斯分布)替代后验。本文中,我们推导了 LA 误差的首项分解,这是一种比以往更精确分析近似精度的有力技术。它使我们得以推导出首个 LA 的偏度修正,可证明在高维情形下将其精度提升一个数量级。我们的方法还使我们能够证明标准 LA 更紧的上界以及高维下首个下界。特别地,我们证明 一般是 LA 精度所必需的,其中 为维度, 为样本量。最后,我们在两个示例模型中应用了我们的理论:由多项观测产生的狄利克雷后验,以及高斯设计下的逻辑回归。在后一设定中,我们证明了仅以 的幂表示的 LA 与偏度修正 LA 精度的高概率界。
引用
@article{arxiv.2306.07262,
title = {The Laplace approximation accuracy in high dimensions: a refined analysis and new skew adjustment},
author = {Anya Katsevich},
journal= {arXiv preprint arXiv:2306.07262},
year = {2024}
}
备注
This latest version merges the previous version of this work wih arxiv:2305.17604, and expands the content to include a new example application