用于改进深度学习后验不确定性的拉普拉斯近似混合方法
机器学习
2021-11-08 v1 机器学习
摘要
深度神经网络易对离群点给出过度自信的预测。贝叶斯神经网络与深度集成均已被证明能在一定程度上缓解该问题。本工作中，我们旨在结合两种方法优势，提出以高斯混合模型后验进行预测，该后验由独立训练的深度神经网络的拉普拉斯近似加权求和构成。该方法可事后用于任意一组预训练网络，且相较常规集成仅带来较小的计算与内存开销。我们从理论上验证该方法缓解了训练数据“远处”的过度自信问题，并在标准不确定性量化基准上针对最先进基线进行了实证比较。
引用
@article{arxiv.2111.03577,
title = {Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning},
author = {Runa Eschenhagen and Erik Daxberger and Philipp Hennig and Agustinus Kristiadi},
journal= {arXiv preprint arXiv:2111.03577},
year = {2021}
}
备注
Bayesian Deep Learning Workshop, NeurIPS 2021