评估软件缺陷预测性能：为何使用马修斯相关系数至关重要
软件工程
2020-03-04 v1
摘要
背景：评估软件缺陷预测分类器的计算实验在范围与设计上存在显著多样性，尤其在分类器性能度量的选择上。遗憾的是，一些广泛使用的度量已知存在偏差，特别是F1。目标：我们欲理解缺陷预测中F1的广泛使用在多大程度上导致实证结果不可靠。方法：我们检索同时报告F1与马修斯相关系数（MCC）的缺陷预测研究，据此确定两度量一致的结果比例及发生变化的比例。结果：我们的系统综述识别出8项研究共4017组配对结果。其中，采用无偏MCC度量时，23%的案例比较方向发生改变。结论：我们发现分类性能度量选择至关重要的有力理由，具体而言，应弃用有偏且具误导性的F1度量。
引用
@article{arxiv.2003.01182,
title = {Assessing Software Defection Prediction Performance: Why Using the Matthews Correlation Coefficient Matters},
author = {Jingxiu Yao and Martin Shepperd},
journal= {arXiv preprint arXiv:2003.01182},
year = {2020}
}
备注
EASE 2020, April 15--17, 2020, Trondheim, Norway