校准距离的统一理论
机器学习
2023-04-03 v2
摘要
我们研究如何定义和度量概率预测器的校准距离这一基本问题。尽管完美校准的概念已被充分理解,但对于如何量化与完美校准的距离尚无共识。文献中已提出众多校准度量,但它们彼此如何比较尚不清楚,且许多流行度量(如期望校准误差(ECE))不满足连续性等基本性质。我们受性质检验文献启发,提出一个分析校准度量的严格框架。我们提出一个校准距离的真相概念:到最近完美校准预测器的 距离。我们将一致校准度量定义为与该距离呈多项式关系的度量。应用我们的框架,我们识别出三种一致且可高效估计的校准度量:平滑校准、区间校准和拉普拉斯核校准。前两者给出对真相距离的二次逼近,我们证明在我们将之称为预测仅访问模型的自然度量校准模型中,这在信息论意义下是最优的。因此,我们的工作确立了度量到校准距离的基本下界与上界,并为实践中偏好某些度量(如拉普拉斯核校准)提供了理论依据。
引用
@article{arxiv.2211.16886,
title = {A Unifying Theory of Distance from Calibration},
author = {Jarosław Błasiok and Parikshit Gopalan and Lunjia Hu and Preetum Nakkiran},
journal= {arXiv preprint arXiv:2211.16886},
year = {2023}
}
备注
In STOC 2023