基于 ROC 正则化保序回归的分类器校准
机器学习
2023-11-22 v1
摘要
机器学习分类器的校准对于获得可靠且可解释的预测是必要的，它弥合了模型置信度与实际概率之间的差距。一种突出的技术——保序回归（IR）——旨在通过单调变换在校准集上最小化交叉熵来校准二分类器。IR 作为一种自适应分箱过程，可以实现零校准误差，但留下了其对性能影响的问题。在本文中，我们首先证明 IR 保留了 ROC 曲线的凸包——这是二分类器的一项基本性能指标。这确保了分类器在校准的同时控制校准集的过拟合。然后，我们提出一种保序回归的新颖推广，以适应具有 K 个类别的分类器。我们的方法在概率单纯形上构建多维自适应分箱方案，再次实现等于零的多类校准误差。我们通过施加一种保持分类器 K 维 ROC 曲面的单调性来正则化该算法。我们通过实验表明，这种一般的单调性准则在降低交叉熵损失与避免校准集过拟合之间取得平衡方面是有效的。
引用
@article{arxiv.2311.12436,
title = {Classifier Calibration with ROC-Regularized Isotonic Regression},
author = {Eugene Berta and Francis Bach and Michael Jordan},
journal= {arXiv preprint arXiv:2311.12436},
year = {2023}
}