不确定性特征曲线:预测区间的系统化评估
机器学习
2021-06-03 v1 人工智能
机器学习
摘要
准确量化模型不确定性长期以来被公认为可信AI的基本要求。在回归任务中,不确定性通常使用针对特定工作点校准的预测区间来量化,这使得不同研究间的评估与比较十分困难。我们的工作借助:(1)工作特征曲线的概念与(2)相对于简单参考的增益思想,推导出一种新的与工作点无关的预测区间评估方法。本文描述了相应算法,提供了理论分析,并展示了其在多种场景中的效用。我们认为所提方法满足了当前对预测区间全面评估的需求,从而是不确定性量化工具箱中的宝贵补充。
引用
@article{arxiv.2106.00858,
title = {Uncertainty Characteristics Curves: A Systematic Assessment of Prediction Intervals},
author = {Jiri Navratil and Benjamin Elder and Matthew Arnold and Soumya Ghosh and Prasanna Sattigeri},
journal= {arXiv preprint arXiv:2106.00858},
year = {2021}
}
备注
10 pages main paper, 9 pages appendix