FSP-Laplace：贝叶斯深度学习中拉普拉斯近似的函数空间先验
机器学习
2024-11-01 v2 人工智能
摘要
拉普拉斯近似是一种流行的技术，用于赋予深度网络认知不确定性估计，因为它们可以在不改变已训练网络预测的情况下应用，并且可以扩展到大型模型和数据集。虽然先验的选择强烈影响最终的后验分布，但权重空间的计算易处理性和缺乏可解释性通常将拉普拉斯近似限制在各向同性高斯先验上，而已知这种先验会随着深度增加导致病态行为。作为补救措施，我们直接在函数空间上放置一个先验。更准确地说，由于勒贝格密度在无限维函数空间上不存在，我们将训练重新定义为在限制于可由神经网络表示的函数空间上的高斯过程（GP）先验下，寻找后验测度的所谓弱模式。通过 GP 先验，可以直接在函数空间中表达结构化和可解释的归纳偏差，例如正则性或周期性，同时仍然利用允许深度网络泛化的隐式归纳偏差。在模型线性化之后，训练目标诱导出一个负对数后验密度，我们对其应用拉普拉斯近似，并利用来自无矩阵线性代数的高度可扩展方法。我们的方法在先验知识丰富的情况下（如许多科学推断任务中）提供了改进的结果。同时，它在黑盒监督学习问题上保持竞争力，而神经网络通常在这些问题上表现出色。
引用
@article{arxiv.2407.13711,
title = {FSP-Laplace: Function-Space Priors for the Laplace Approximation in Bayesian Deep Learning},
author = {Tristan Cinquin and Marvin Pförtner and Vincent Fortuin and Philipp Hennig and Robert Bamler},
journal= {arXiv preprint arXiv:2407.13711},
year = {2024}
}