基于低秩的贝叶斯神经网络 Laplace 近似子空间推断
机器学习
2026-04-13 v2
摘要
神经网络的子空间推断假设其参数空间的一个子空间足以产生可靠的不确定性量化。在本工作中，我们利用低秩技术为这一假设的有效性提供了理论支撑。我们推导出了基于 Laplace 近似的贝叶斯推断场景下子空间模型的表达式，该模型在特定数据集下具有某种意义上的最优性。我们通过实验表明，使用降维协方差矩阵构建的 Laplace 近似与使用精确协方差矩阵得到的完整 Laplace 近似高度吻合。在可行的情况下，该子空间模型可作为评估其他子空间模型性能的基准。此外，我们提供了该子空间构造的一种可实际使用的可扩展近似，并将其与文献中现有的子空间模型进行了比较。总体而言，我们的近似方案优于以往的工作。进一步地，我们提出了一种度量指标，即使在精确 Laplace 近似未知的情况下，也能定性比较不同子空间模型的近似质量。
关键词
引用
@article{arxiv.2502.02345,
title = {Low Rank Based Subspace Inference for the Laplace Approximation of Bayesian Neural Networks},
author = {Josua Faller and Jörg Martin},
journal= {arXiv preprint arXiv:2502.02345},
year = {2026}
}
备注
for associated code, see https://github.com/josh3142/LowRankLaplaceApproximation