软均期望校准误差 (SMECE)：面向概率标签的校准度量
机器学习
2026-03-17 v1 统计方法学
摘要
期望校准误差（ece）是机器学习中占主导地位的校准度量，它将预测概率与二进制结果的经验频率进行比较。这在标签为二进制事件时是合适的。然而，许多现代场景下的标签本身就是概率值而非二进制结果：放射科医师的表述置信度、教师模型在知识蒸馏中的软输出、来自生成模型的类别后验概率，或标注员一致性比例。在这些场景下，ece 会犯下类别错误——它通过将其强制转换为二进制比较来丢弃标签中概率信息的影响。结果不是一个噪声近似——更多数据会纠正，而是一个持续且收敛于错误答案的结构性错位。我们提出软均期望校准误差（smece），一种用于标签为概率性质场景的校准度量。对 ece 公式的修改仅一行：将每个预测 bin 中样本的经验硬标签比例替换为该 bin 中样本的平均概率标签。当标签为二进制时，smece 正好还原为 ece，因而是其严格的泛化。
引用
@article{arxiv.2603.14092,
title = {Soft Mean Expected Calibration Error (SMECE): A Calibration Metric for Probabilistic Labels},
author = {Michael Leznik},
journal= {arXiv preprint arXiv:2603.14092},
year = {2026}
}