基于 Fisher 度量的黎曼拉普拉斯近似
机器学习
2026-03-12 v8 统计方法学
机器学习
摘要
拉普拉斯方法在其众数处用高斯分布近似目标密度。由于 Bernstein-von Mises 定理,它在计算上高效且对贝叶斯推断渐近精确,但对于复杂目标和有限数据后验,它常过于粗略。近期的一种拉普拉斯近似推广依据所选黎曼几何对高斯近似进行变换,提供了更丰富的近似族,同时仍保持计算效率。然而正如本文所示,其性质严重依赖于所选度量,事实上先前工作采用的度量导致的近似过于狭窄,且即使在无限数据极限下也存在偏差。我们通过进一步发展该近似族、推导出两种在无限数据极限下精确的替代变体、扩展该方法的理论分析,并在一系列实验中展示实际改进,从而纠正了这一缺陷。
引用
@article{arxiv.2311.02766,
title = {Riemannian Laplace Approximation with the Fisher Metric},
author = {Hanlin Yu and Marcelo Hartmann and Bernardo Williams and Mark Girolami and Arto Klami},
journal= {arXiv preprint arXiv:2311.02766},
year = {2026}
}
备注
AISTATS 2024, with additional fixes and improvements. Theorem 2 is fixed