用于事后贝叶斯深度学习的固定均值高斯过程
机器学习
2024-12-06 v1 机器学习
摘要
近年来，人们对预训练深度神经网络（DNN）的预测进行事后不确定性估计的兴趣日益增长。给定一个通过反向传播预训练的DNN，这些方法通过添加输出置信度度量（例如误差条）来增强原始网络，而不会损害其初始精度。在此背景下，我们引入了一族新的稀疏变分高斯过程（GP），当使用通用核时，其后验均值被固定为任意连续函数。具体来说，我们将此GP的均值固定为预训练DNN的输出，从而使我们的方法能够有效地拟合GP的预测方差，以估计DNN的预测不确定性。我们的方法利用变分推断（VI）进行高效的随机优化，其训练成本与训练点的数量无关，能够高效地扩展到诸如ImageNet这样的大规模数据集。所提出的方法被称为固定均值GP（FMGP），它与架构无关，仅依赖预训练模型的输出来调整预测方差。实验结果表明，与最先进的方法相比，FMGP在不确定性估计和计算效率方面均有提升。
引用
@article{arxiv.2412.04177,
title = {Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning},
author = {Luis A. Ortega and Simón Rodríguez-Santana and Daniel Hernández-Lobato},
journal= {arXiv preprint arXiv:2412.04177},
year = {2024}
}
备注
12 pages, 6 figures and 2 tables. Submitted to IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE