流行深度学习不确定性估计方法的隐患
机器学习
2021-12-10 v1 机器学习
摘要
不确定性估计（UE）技术——如高斯过程（GP）、贝叶斯神经网络（BNN）、蒙特卡洛 dropout（MCDropout）——旨在通过为每个预测输出分配一个估计的不确定性值来提高机器学习模型的可解释性。然而，由于过高的不确定性估计在实践中可能导致致命后果，本文分析了上述技术。首先，我们表明 GP 方法在分布外（OOD）数据上总是产生高不确定性估计。其次，我们在一个 2D 玩具示例中表明 BNN 和 MCDropout 在 OOD 样本上均未给出高不确定性估计。最后，我们经实证表明 BNN 和 MCDropout 的这一缺陷在真实世界数据集上同样存在。我们的见解（i）唤起对深度学习当前流行 UE 方法更谨慎使用的关注，（ii）鼓励开发近似基于 GP 的方法而非 BNN 和 MCDropout 的 UE 方法，以及（iii）我们的实证设置可用于验证任何其他 UE 方法的 OOD 性能。源代码见 https://github.com/epfml/uncertainity-estimation。
引用
@article{arxiv.2112.05000,
title = {The Peril of Popular Deep Learning Uncertainty Estimation Methods},
author = {Yehao Liu and Matteo Pagliardini and Tatjana Chavdarova and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2112.05000},
year = {2021}
}
备注
Presented at the Bayesian Deep Learning Workshop at NeurIPS 2021