略带频率学派色彩可改进贝叶斯神经网络
机器学习
2022-02-03 v3 机器学习
摘要
尽管具有引人注目的理论性质，贝叶斯神经网络（BNN）在基于分类的不确定性量化（UQ）任务（如分布外（OOD）检测）中往往表现不如频率学派方法。本文基于先前工作的经验发现，假设这一问题源于即便近期的贝叶斯方法也从未在其训练过程中考虑 OOD 数据，尽管这种“OOD 训练”技术是最先进频率学派 UQ 方法的组成部分。为验证此点，我们将 OOD 数据作为 BNN 训练中的一等公民，探索了四种将 OOD 数据纳入贝叶斯推断的方式。我们在大量实验中表明，经 OOD 训练的 BNN 可与近期频率学派基线相竞争。因此，本工作为未来贝叶斯 UQ 研究提供了强有力的基线。
引用
@article{arxiv.2106.10065,
title = {Being a Bit Frequentist Improves Bayesian Neural Networks},
author = {Agustinus Kristiadi and Matthias Hein and Philipp Hennig},
journal= {arXiv preprint arXiv:2106.10065},
year = {2022}
}
备注
AISTATS 2022