关于深度分类器的温度缩放与共形预测
机器学习
2025-06-03 v4 机器学习
摘要
在许多分类应用中，深度神经网络（DNN）分类器的预测需要伴随某种置信度指示。为此有两种流行的方法：1) 校准：修改分类器的 softmax 值，使得最大值能更好地估计正确概率；2) 共形预测（CP）：生成一个候选标签的预测集，该集合以用户指定的概率包含真实标签，保证边缘覆盖但不保证（例如）每类覆盖。在实践中，这两种类型的指示都是理想的，但迄今为止它们之间的相互作用尚未被研究。本文聚焦于无处不在的温度缩放（TS）校准，首先对其对主流 CP 方法的影响进行了广泛的实证研究。我们表明，虽然 TS 校准提高了自适应 CP 方法的类条件覆盖率，但令人惊讶的是，它对预测集大小产生了负面影响。受此行为启发，我们探讨了 TS 在校准应用之外对 CP 的影响，并揭示了一种有趣的趋势，即它允许在自适应 CP 方法的预测集大小和条件覆盖率之间进行权衡。随后，我们建立了一个数学理论来解释整个非单调趋势。最后，基于我们的实验和理论，我们为从业者提供了简单的指南，以便根据用户定义的目标有效地将自适应 CP 与校准相结合。
引用
@article{arxiv.2402.05806,
title = {On Temperature Scaling and Conformal Prediction of Deep Classifiers},
author = {Lahav Dabah and Tom Tirer},
journal= {arXiv preprint arXiv:2402.05806},
year = {2025}
}
备注
ICML 2025 (camera-ready). Code can be found at: https://github.com/lahavdabah/TS4CP