中文

高维下拉普拉斯近似的精度:精细化分析与新的偏度修正

统计理论 2024-06-10 v3 统计理论

摘要

在贝叶斯推断中,对感兴趣参数进行推导需要从后验分布中采样或计算积分。在高维情形下降低这些计算开销的一种流行方法,是用拉普拉斯近似(LA,一种高斯分布)替代后验。本文中,我们推导了 LA 误差的首项分解,这是一种比以往更精确分析近似精度的有力技术。它使我们得以推导出首个 LA 的偏度修正,可证明在高维情形下将其精度提升一个数量级。我们的方法还使我们能够证明标准 LA 更紧的上界以及高维下首个下界。特别地,我们证明 d2nd^2\ll n 一般是 LA 精度所必需的,其中 dd 为维度,nn 为样本量。最后,我们在两个示例模型中应用了我们的理论:由多项观测产生的狄利克雷后验,以及高斯设计下的逻辑回归。在后一设定中,我们证明了仅以 d/nd/\sqrt n 的幂表示的 LA 与偏度修正 LA 精度的高概率界。

关键词

引用

@article{arxiv.2306.07262,
  title  = {The Laplace approximation accuracy in high dimensions: a refined analysis and new skew adjustment},
  author = {Anya Katsevich},
  journal= {arXiv preprint arXiv:2306.07262},
  year   = {2024}
}

备注

This latest version merges the previous version of this work wih arxiv:2305.17604, and expands the content to include a new example application