从不可区分性视角审视校准问题

校准是预测文献中的一个经典概念，旨在回答：我们应如何解读预测的概率值？在我们仅能观测到（离散的）结果的世界中，如何评估一种假设（连续）概率的预测器？近年来，随着机器学习中概率预测的普及，校准研究呈现新近兴趣浓厚的趋势。本综述描述了关于如何定义和衡量校准误差的最新研究，以及这些度量对希望利用预测做出决策的下游决策者具有何种意义。一种统一的观点是将校准视为一种不可区分性形式，在此视角下，预测器假设的世界与由自然或贝叶斯最优预测器支配的真实世界之间的可区分性。通过此视角，各种校准度量量化了两种世界能否被某些类别的区分器或统计度量所区分的程度。