ENCE与其他基于MAD的校准度量的性质
机器学习
2023-05-23 v1 化学物理
数据分析、统计与概率
统计方法学
摘要
期望归一化校准误差（ENCE）是机器学习中用于评估回归问题预测不确定性质量的常用校准统计量。ENCE的估计基于校准数据的分箱。在本短文中，我阐明了ENCE的一个恼人性质，即对于校准良好或近校准的数据集，其与分箱数的平方根成正比。基于z分数方差的校准误差（ZVE）也受类似行为影响，且两种情形下该性质均为使用平均绝对偏差（MAD）统计量估计校准误差所致。因而，何种分箱数可为校准误差统计的可靠估计提供选择成为问题。本文提出一种方案，可推断不依赖于分箱数且假设数据集已校准的ENCE与ZVE值，同时提供统计校准检验。亦表明ZVE对异常误差或不确定性的敏感度低于ENCE。
引用
@article{arxiv.2305.11905,
title = {Properties of the ENCE and other MAD-based calibration metrics},
author = {Pascal Pernot},
journal= {arXiv preprint arXiv:2305.11905},
year = {2023}
}