校准度量标准是否可以同时具有可检验性和可操作性？
统计方法学
2025-08-06 v2 机器学习
摘要
预测概率常常作为二元决策的关键输入。在此类情境下，校准——确保预测的概率与经验频率匹配——至关重要。虽然常见的期望校准误差（Expected Calibration Error, ECE）为决策提供了可操作的见解，但它不可被检验：在许多实际情况下无法进行经验估计。相反，最近提出的距离校准（Distance from Calibration, dCE）是可检验的，但不可操作，因为它缺乏用于高风险应用的决策论保证。为解决此问题，我们考虑截断校准误差（Cutoff Calibration Error），这是一种通过评估预测概率区间的校准来弥合这一鸿沟的校准度量。我们表明，截断校准误差既可被检验，也可操作，我们还检视了其对众多事后校准方法（如等距回归和 Platt 比例放大）的影响。
引用
@article{arxiv.2502.19851,
title = {Can a calibration metric be both testable and actionable?},
author = {Raphael Rossellini and Jake A. Soloff and Rina Foygel Barber and Zhimei Ren and Rebecca Willett},
journal= {arXiv preprint arXiv:2502.19851},
year = {2025}
}