蒙特卡洛 dropout 的不可靠不确定性估计
机器学习
2025-12-18 v1
摘要
可靠的不确定性估计对于机器学习模型尤其在安全关键领域至关重要。虽然精确的贝叶斯推断提供了原则方法，但对于深度神经网络往往计算上不可行。蒙特卡洛 dropout (MCD) 通过在推断时应用神经元 dropout 作为深度学习中贝叶斯推断的高效近似方法。该方法通过生成多个子模型来获得预测分布，从而估计不确定性。我们经验性地调查了其捕捉真实不确定性的能力，并与高斯过程 (GP) 和贝叶斯神经网络 (BNN) 进行比较。我们发现 MCD 在准确反映底层真实不确定性方面存在困难，尤其是在贝叶斯模型中观察到的外推和插值区域不确定性增加时表现不足。这些发现表明，当前实现和评估的 MCD 不确定性估计在捕捉表观不确定性和认识论不确定性方面，不如传统贝叶斯方法可靠。
引用
@article{arxiv.2512.14851,
title = {Unreliable Uncertainty Estimates with Monte Carlo Dropout},
author = {Aslak Djupskås and Alexander Johannes Stasik and Signe Riemer-Sørensen},
journal= {arXiv preprint arXiv:2512.14851},
year = {2025}
}
备注
Accepted for the Northern Lights Deep Learning 2026