不平衡分类问题中的鲁棒性能指标
机器学习
2024-04-12 v1 机器学习
统计方法学
摘要
我们表明，二分类问题中既定的性能指标，如 F-score、Jaccard 相似系数或 Matthews 相关系数 (MCC)，对类别不平衡不具鲁棒性：当少数类比例趋于 时，这些指标下的贝叶斯分类器的真阳性率 (TPR) 也趋于 。因此，在不平衡分类问题中，这些指标倾向于选择忽略少数类的分类器。为缓解此问题，我们引入了对 F-score 和 MCC 的鲁棒修改方案，即使在强烈不平衡的情境下，TPR 也能被限制在 之外。我们在仿真实验以及信用违约数据集上数值展示了各种性能指标的行为。我们还讨论了与 ROC 曲线和 precision-recall 曲线的关系，并给出关于如何将其与性能指标结合使用的建议。
引用
@article{arxiv.2404.07661,
title = {Robust performance metrics for imbalanced classification problems},
author = {Hajo Holzmann and Bernhard Klar},
journal= {arXiv preprint arXiv:2404.07661},
year = {2024}
}