理解模型校准——关于校准与预期校准误差（ECE）的温和介绍与可视化探索

为了被视为可靠，模型必须校准，使其在每个决策上的置信水平与其真实结果密切匹配。在本博客文章中，我们将查看最常用的校准定义，然后深入研究用于模型校准的常用评估措施。我们随后介绍了该措施的一些缺点以及这些缺点促成了需要其他校准概念的需求，这些概念需要各自新的评估措施。本post旨在提供对不同校准概念及其评估措施的温和介绍，以及重新强调仍广泛使用的该措施的一些问题。