通过 ROC 曲线下面积评估软件缺陷预测模型可能具有误导性
软件工程
2026-04-23 v1
摘要
背景：接收者操作特征（ROC）曲线被广泛用于评估软件缺陷预测（SDP）模型的性能，这些模型用于估计模块的缺陷倾向性，即一个模块有缺陷的概率。ROC 曲线根据在缺陷倾向性上设定的任何可能阈值，映射出模型在真正例率和假正例率方面的性能。ROC 曲线下面积（AUC）总结了模型在所有可能阈值下的性能。传统上，完全位于 ROC 空间对角线之上的 ROC 曲线被认为优于随机猜测，而高 AUC 值则与良好性能相关联。目标：我们研究这些信念是否正确，从而判断基于 ROC 曲线和 AUC 的 SDP 模型评估是否可靠。方法：我们通过突出显示与阈值对应的点来装饰 ROC 曲线。我们还将真阳性率和假阳性率表示为阈值的函数。这样，我们就能评估一个模型对有缺陷和无缺陷模块的分类是否都优于随机模型。结果：我们表明，常用的评估标准可能导致错误的结论。结论：高 AUC 值并不能保证模型在所有可能阈值下的真阳性率和假阳性率都优于随机模型。需要装饰过的 ROC 曲线或替代表示法来理解 SDP 模型的所有相关方面。
引用
@article{arxiv.2604.20742,
title = {Evaluating Software Defect Prediction Models via the Area Under the ROC Curve Can Be Misleading},
author = {Luigi Lavazza and Gabriele Rotoloni and Sandro Morasca},
journal= {arXiv preprint arXiv:2604.20742},
year = {2026}
}