重新审视不确定性估计的评估及其在探索模型复杂度-不确定性权衡中的应用
机器学习
2020-07-14 v3 机器学习
摘要
准确估计神经网络预测中的不确定性对于构建可信的基于 DNN 的模型至关重要，并且在许多任务（如安防摄像头和自动驾驶车辆）中提供准确的不确定性估计日益受到关注。本文关注不确定性估计的两个主要用例，即选择性预测与置信度校准。我们首先揭示了两种用例中常用的不确定性估计质量指标存在的潜在问题，并提出了缓解这些问题的新指标。随后我们将这些新指标应用于探索模型复杂度与不确定性估计质量之间的权衡，这是文献中关键缺失的工作。我们的实证实验结果验证了所提指标的优越性，并观察到一些关于复杂度-不确定性权衡的有趣趋势。
引用
@article{arxiv.1903.02050,
title = {Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off},
author = {Yukun Ding and Jinglan Liu and Jinjun Xiong and Yiyu Shi},
journal= {arXiv preprint arXiv:1903.02050},
year = {2020}
}
备注
CVPR 2020 - Fair, Data Efficient and Trusted Computer Vision Workshop