贝叶斯神经网络中的“中间”不确定性
机器学习
2019-06-28 v1 人工智能
机器学习
摘要
我们描述了平均场变分推断（MFVI）给出的预测不确定性估计在表达能力上的一个局限性，MFVI 是贝叶斯神经网络的一种流行近似推断方法。特别是，MFVI 无法在分离的观测区域之间给出校准的不确定性估计。当在分布外数据上进行测试时，这可能导致灾难性的过度自信预测。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现一种经典技术，即线性化拉普拉斯近似，对于小型网络架构能够更好地处理“中间”不确定性。
引用
@article{arxiv.1906.11537,
title = {'In-Between' Uncertainty in Bayesian Neural Networks},
author = {Andrew Y. K. Foong and Yingzhen Li and José Miguel Hernández-Lobato and Richard E. Turner},
journal= {arXiv preprint arXiv:1906.11537},
year = {2019}
}
备注
Presented at the ICML 2019 Workshop on Uncertainty and Robustness in Deep Learning