中文

不确定性特征曲线:预测区间的系统化评估

机器学习 2021-06-03 v1 人工智能 机器学习

摘要

准确量化模型不确定性长期以来被公认为可信AI的基本要求。在回归任务中,不确定性通常使用针对特定工作点校准的预测区间来量化,这使得不同研究间的评估与比较十分困难。我们的工作借助:(1)工作特征曲线的概念与(2)相对于简单参考的增益思想,推导出一种新的与工作点无关的预测区间评估方法。本文描述了相应算法,提供了理论分析,并展示了其在多种场景中的效用。我们认为所提方法满足了当前对预测区间全面评估的需求,从而是不确定性量化工具箱中的宝贵补充。

关键词

引用

@article{arxiv.2106.00858,
  title  = {Uncertainty Characteristics Curves: A Systematic Assessment of Prediction Intervals},
  author = {Jiri Navratil and Benjamin Elder and Matthew Arnold and Soumya Ghosh and Prasanna Sattigeri},
  journal= {arXiv preprint arXiv:2106.00858},
  year   = {2021}
}

备注

10 pages main paper, 9 pages appendix