用于贝叶斯神经网络的管状黎曼拉普拉斯近似
机器学习
2026-01-06 v2 人工智能
摘要
拉普拉斯近似是神经网络中近似贝叶斯推理最简单、最实用的方法之一，然而其欧几里得形式难以处理现代深度模型所特有的高度各向异性、弯曲的损失曲面和大型对称群。近期研究提出了黎曼和几何高斯近似以适应这种结构。基于这些思想，我们引入了管状黎曼拉普拉斯（TRL）近似。TRL显式地将后验分布建模为一个概率管，该管遵循由函数对称性诱导的低损失谷，并使用Fisher/Gauss-Newton度量来分离先验主导的切向不确定性和数据主导的横向不确定性。我们将TRL解释为一种可扩展的重参数化高斯近似，它利用隐式曲率估计在高维参数空间中运行。我们在ResNet-18（CIFAR-10和CIFAR-100）上的实证评估表明，TRL实现了出色的校准性能，在可靠性方面（以ECE衡量）匹配或超越了深度集成方法，而所需的训练成本仅为后者的一小部分（1/5）。TRL有效地弥合了单模型效率与集成级可靠性之间的差距。
引用
@article{arxiv.2512.24381,
title = {Tubular Riemannian Laplace Approximations for Bayesian Neural Networks},
author = {Rodrigo Pereira David},
journal= {arXiv preprint arXiv:2512.24381},
year = {2026}
}
备注
v2: corrected an erroneous/hallucinated reference (Dold et al.)