基于次要子概念的不平衡分类性能估计偏差纠正
机器学习
2026-04-30 v1 人工智能
摘要
类别层面的评估可能掩盖同一类别内部不同子概念表现之间的显著差异，导致在平均表现良好的模型在特定子群体上失败。先前工作表明，不平衡分类的常规评估指标对较大次要子概念存在偏差，而基于真实子概念标签的效用加权可缓解此偏差；然而，这类标签在测试阶段往往不可得。我们提出一种实用的效用加权评估方法，通过多类别子概念模型预测的后验概率替代不可用的子概念标签。评估权重定义为该后验分布下的期望效用，形成一种软性、具不确定性感知的度量，我们称之为预测加权平衡准确率（pBA）。在表格基准数据集、医学影像和文本数据集上进行实验，表明在类别内部存在异质性时，未加权得分可能误导，而当子概念分布不均但非病态时，pBA可提供更稳定可解释的评估。我们的代码已公开：https://anonymous.4open.science/r/correcting-bias-imbalance-9C6C/。
引用
@article{arxiv.2604.26024,
title = {Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts},
author = {Taylor Maxson and Roberto Corizzo and Yaning Wu and Nathalie Japkowicz and Colin Bellinger},
journal= {arXiv preprint arXiv:2604.26024},
year = {2026}
}