数据集偏移下校准、量化与分类器准确率预测的相互联系
机器学习
2025-05-19 v1
摘要
当用于训练分类器的数据分布与测试数据的分布不同时，即在数据集偏移下，用于校准分类器决策分数、估计测试样本中正例比例或估计分类器准确率的成熟常规方法变得特别具有挑战性。本文研究了在数据集偏移条件下，校准、量化和分类器准确率预测这三个基本问题之间的相互联系。具体来说，我们通过相互归约证明了它们的等价性，即我们展示了获得其中任何一个任务的预言机都能解决其他两个任务。基于这些证明，我们通过直接改编从其他学科借鉴的成熟方法，为每个问题提出了新方法。我们的结果表明，这些方法通常具有竞争力，有时甚至超越了每个学科专用方法的性能。本文的主要目标是促进这些研究领域之间的交叉融合，鼓励开发统一方法并推动跨领域的协同作用。
引用
@article{arxiv.2505.11380,
title = {On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift},
author = {Alejandro Moreo},
journal= {arXiv preprint arXiv:2505.11380},
year = {2025}
}