基于区间指标检验机器学习回归任务预测不确定性可靠性
机器学习
2024-08-27 v2 机器学习
摘要
本短论文提出一种机会主义的方法，用于更可靠的预测不确定性平均校准验证方法。考虑到基于方差的校准指标(ZMS、NLL、RCE...)对不确定性和误差分布中重尾的敏感性，提出了一种向区间指标的转变，即预测区间覆盖概率(PICP)。在大型分子性质数据集上，证明了：(1) z得分集由Student-分布良好地表示，为自由度; (2)通过简单规则可准确估计95%预测区间，当时; (3)所得PICP的测试比基于方差的校准指标更快更可靠。总体而言，这种方法使我们能够测试比ZMS测试多出20%的数据集。条件校准也采用PICP方法进行评估。
引用
@article{arxiv.2408.13089,
title = {On the good reliability of an interval-based metric to validate prediction uncertainty for machine learning regression tasks},
author = {Pascal Pernot},
journal= {arXiv preprint arXiv:2408.13089},
year = {2024}
}