扩展置信度校准至广义变动度度量
机器学习
2026-02-16 v1 人工智能
摘要
我们提出了变动校准误差 (Variation Calibration Error, VCE) 指标，用于评估机器学习分类器的校准程度。该指标可视为对经典期望校准误差 (Expected Calibration Error, ECE) 的扩展，后者评估最大概率或置信度的校准情况。存在其他衡量概率分布变动的方式，例如香农熵。我们展示了 ECE 方法可从评估置信度校准扩展至评估任何变动度度量的校准。我们对合成预测数据进行数值示例，演示在该场景下，VCE 在数据样本数增加时可逼近零，而另一种基于熵的校准指标 (统一校准误差, UCE) 已在文献中提出。
引用
@article{arxiv.2602.12975,
title = {Extending confidence calibration to generalised measures of variation},
author = {Andrew Thompson and Vivek Desai},
journal= {arXiv preprint arXiv:2602.12975},
year = {2026}
}