面向分类的精度与召回拒绝曲线
机器学习
2024-03-15 v3
摘要
对某些分类场景，仅使用训练模型关联高置信度的分类实例是理想的。为获取此类高置信度实例，已有工作提出准确率-拒绝曲线。拒绝曲线可在一定接受或拒绝分类的阈值范围内评估并比较不同置信度度量的性能。然而，准确率并非对所有应用都最合适，精度或召回率可能更受青睐，例如对于类分布不平衡的数据即是如此。因此我们提出评估精度与召回率的拒绝曲线：召回-拒绝曲线与精度-拒绝曲线。借助学习向量量化中的原型分类器，我们首先在人工基准数据上以准确率拒绝曲线为基线验证所提曲线；随后在不平衡基准与医疗真实数据上表明，对这些场景，所提精度与召回曲线比准确率拒绝曲线能更准确刻画分类器性能。
引用
@article{arxiv.2308.08381,
title = {Precision and Recall Reject Curves for Classification},
author = {Lydia Fischer and Patricia Wollstadt},
journal= {arXiv preprint arXiv:2308.08381},
year = {2024}
}
备注
10 pages, 3 figures. Updated figure labels. Included reviewer remarks. Accepted at International Workshop on Self-Organizing Maps and Learning Vector Quantization, Clustering and Data Visualization (WSOM+) 2024