简易不确定性量化(EasyUQ)：由单值模型输出生成预测分布
统计方法学
2023-07-25 v2
摘要
如果我们偏爱的计算工具——无论是数值的、统计的或机器学习的方法，或任意计算机模型——仅提供单值输出，我们如何量化不确定性？本文介绍简易不确定性量化(EasyUQ)技术，它仅基于模型输出—结果对的训练数据，无需访问模型输入，将实值模型输出转化为已校准的统计分布。在其基本形式中，EasyUQ是近期提出的等渗分布回归(IDR)技术的特例，后者利用相邻违反者池算法进行非参数等渗回归。EasyUQ产生离散预测分布，在有限样本下满足随机单调性，因而是已校准且最优的。工作流程全自动化，无需调参。平滑EasyUQ方法以核平滑补充IDR，产生连续预测分布，保留基本形式的关键性质，包括相对于原始模型输出的随机单调性以及渐近一致性。对于核参数选择，我们引入多重一次拟合网格搜索，作为留一交叉验证在计算上要求低得多的近似。我们用模拟示例和来自天气预测的预报数据说明这些技术。在一项机器学习的基准问题研究中，我们展示了EasyUQ与平滑EasyUQ如何集成到神经网络学习与超参数调优工作流中，并发现EasyUQ可与保形预测(conformal prediction)以及更精细的基于输入的方法相竞争。
引用
@article{arxiv.2212.08376,
title = {Easy Uncertainty Quantification (EasyUQ): Generating Predictive Distributions from Single-valued Model Output},
author = {Eva-Maria Walz and Alexander Henzi and Johanna Ziegel and Tilmann Gneiting},
journal= {arXiv preprint arXiv:2212.08376},
year = {2023}
}