一种用于衡量机器学习模型校准性的熵 Entropic 指标
机器学习
2025-02-21 v1
摘要
理解机器学习模型对单个输入数据的分类置信度是一个重要且或许未被充分调查的概念。本文提出了一种新的校准指标，即熵校准差（Entropic Calibration Difference, ECD）。基于国际状态估计领域的研究，特别是目标跟踪（TT），我们展示了ECD如何应用于二分类机器学习模型。我们描述了过度信心和不足信心的相对重要性，以及它们在TT文献中不被混合的原因。事实上，我们的指标能够区分过度信心与不足信心。鉴于过度不信心的算法可能“更安全”，但也更加谨慎，从而在统计效率方面受到影响，我们认为这一点至关重要。我们在真实和模拟数据上演示了这一新指标的性能，并与其他机器学习模型概率校准指标进行了比较，包括期望校准误差（Expected Calibration Error, ECE）及其带符号版本——期望带符号校准误差（Expected Signed Calibration Error, ESCE）。
引用
@article{arxiv.2502.14545,
title = {An Entropic Metric for Measuring Calibration of Machine Learning Models},
author = {Daniel James Sumler and Lee Devlin and Simon Maskell and Richard O. Lane},
journal= {arXiv preprint arXiv:2502.14545},
year = {2025}
}