使用 Alpha 散度的贝叶斯神经网络可靠不确定性
机器学习
2020-08-18 v1 机器学习
摘要
贝叶斯神经网络在训练后通常未经过校准，往往倾向于过度自信。因此，设计在计算复杂度方面影响较小且有效的校准方法成为核心关注点。在本文中，我们提出了基于信息几何中 alpha 散度的 BNN 校准方法。我们比较了 alpha 散度在训练和校准中的使用，并展示了在特定 alpha 选择下，在校准中使用它可以提供校准得更好的不确定性估计，并且对于复杂的网络架构尤其高效。我们通过实验证明了 alpha 校准在涉及参数估计和输出不确定性之间推断相关性的回归问题中的优势。
引用
@article{arxiv.2008.06729,
title = {Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences},
author = {Hector J. Hortua and Luigi Malago and Riccardo Volpi},
journal= {arXiv preprint arXiv:2008.06729},
year = {2020}
}
备注
Accepted at the ICML 2020: Workshop on Uncertainty and Robustness in Deep Learning