多元概率预测评估中的可靠性区域
机器学习
2023-06-07 v2 机器学习
摘要
多元概率时间序列预测通常通过严格评分规则评估，即那些在期望中对真实分布取最小值的函数。然而，该性质不足以保证在非渐近情形下良好的判别力。本文首次对用于时间序列预测评估的严格评分规则进行系统性有限样本研究。通过功效分析，我们辨识出评分规则的“可靠性区域”，即其可被依赖以识别预测错误的实际条件集合。我们在一个专为测试真实与预测分布间若干关键差异而设计的综合合成基准上开展分析，并以电力生产问题的应用衡量我们发现对真实任务的泛化性。我们的结果揭示了文献中常见多元概率预测评估的关键缺陷。
引用
@article{arxiv.2304.09836,
title = {Regions of Reliability in the Evaluation of Multivariate Probabilistic Forecasts},
author = {Étienne Marcotte and Valentina Zantedeschi and Alexandre Drouin and Nicolas Chapados},
journal= {arXiv preprint arXiv:2304.09836},
year = {2023}
}
备注
47 pages, 37 figures, camera-ready version, Fortieth International Conference on Machine Learning (ICML 2023)