重尾不确定性和误差分布对机器学习回归任务校准统计量可靠性的负面影响
机器学习
2024-08-20 v5 机器学习
摘要
机器学习回归任务的（基于方差的）预测不确定性的平均校准可以通过两种方式进行检验：一种是估计校准误差（CE）作为平均绝对误差（MSE）与平均方差（MV）之差；另一种是将均方z分数（ZMS）与1进行比较。问题在于，两种方法可能得出不同的结论，正如本研究对近期机器学习不确定性量化（ML-UQ）文献中的一组数据集所展示的那样。研究表明，对于重尾不确定性和误差分布，MV、MSE及其置信区间的估计变得不可靠，这似乎是ML-UQ数据集的一个常见特征。相比之下，ZMS统计量不那么敏感，在这种情况下提供了最可靠的方法，但仍需承认具有重尾z分数分布的数据集应谨慎对待。不幸的是，同样的问题预计也会影响条件校准统计量，例如流行的ENCE，以及很可能基于类似统计量的事后校准方法。本文提出了几种规避上述问题的解决方案。
引用
@article{arxiv.2402.10043,
title = {Negative impact of heavy-tailed uncertainty and error distributions on the reliability of calibration statistics for machine learning regression tasks},
author = {Pascal Pernot},
journal= {arXiv preprint arXiv:2402.10043},
year = {2024}
}