贝叶斯神经网络的黎曼 Laplace 近似
机器学习
2023-06-13 v1 机器学习
统计方法学
摘要
贝叶斯神经网络常以高斯分布近似权重后验。然而，实际后验往往即使局部也高度非高斯，导致经验性能下降。我们提出一种简单的参数化近似后验，其通过由对数后验梯度决定的黎曼度量来适应真实后验的形状。我们发展了黎曼 Laplace 近似，其中样本自然落入具有低负对数后验的权重区域。我们证明这些样本可通过求解常微分方程组抽取，利用黎曼度量的结构与自动微分可高效完成。经验上，我们证明我们的方法在各任务上持续优于常规 Laplace 近似。我们进一步表明，与常规 Laplace 近似不同，我们的方法不会过度敏感于先验的选择，从而缓解了当前方法的实践缺陷。
引用
@article{arxiv.2306.07158,
title = {Riemannian Laplace approximations for Bayesian neural networks},
author = {Federico Bergamin and Pablo Moreno-Muñoz and Søren Hauberg and Georgios Arvanitidis},
journal= {arXiv preprint arXiv:2306.07158},
year = {2023}
}
备注
28 pages, 12 figures. Under submission