基于线性对数几率校准函数的多类别概率预测校准评估与重校准
机器学习
2026-02-24 v1 机器学习
统计方法学
摘要
机器生成的概率预测在现代分类任务中至关重要，如图像分类。当其预测的概率对应观察到的事件频率时，模型即被认为是已校准的。尽管存在多类别重校准方法，但现有方法受限于：（i）比较不同模型之间的校准而非直接评估单个模型的校准；（ii）需要底层模型访问，例如访问神经网络内部层的逻辑尺度预测；（iii）提供的输出对人类分析员来说难以理解。为克服（i）至（iii），我们提出了多类别线性对数几率（MCLLO）重校准方法，该方法：（i）包括似然比假设检验以评估校准；（ii）无需底层访问模型，因而适用于广泛的分类问题；（iii）可以轻松解释。我们通过仿真和三个真实案例研究展示了 MCLLO 方法的有效性，这些案例研究涉及通过卷积神经网络进行图像分类、通过随机森林进行肥胖分析，以及通过回归建模进行生态学研究。我们将 MCLLO 与四种比较器重校准技术进行比较，这些技术均利用我们的假设检验和现有的校准指标预期校准误差（Expected Calibration Error）显示，我们的方法单独使用和与其他方法一起使用都很有效。
引用
@article{arxiv.2602.18573,
title = {Multiclass Calibration Assessment and Recalibration of Probability Predictions via the Linear Log Odds Calibration Function},
author = {Amy Vennos and Xin Xing and Christopher T. Franck},
journal= {arXiv preprint arXiv:2602.18573},
year = {2026}
}