重访异构缺陷预测：我们进展几何？
软件工程
2022-02-22 v1
摘要
迄今为止，研究者已提出若干具有良好性能的新颖异构缺陷预测（HDP）方法。据我们所知，HDP 方法是否能显著优于无监督方法尚未被彻底研究。本文中，我们进行一项复现研究以整体审视该问题。具体而言，我们将五种最先进的 HDP 方法与五种无监督方法进行比较。最终结果出人意料地显示，就两种非工作量感知性能度量和四种工作量感知性能度量而言，这些 HDP 方法并未显著优于部分无监督方法（尤其是 Zhou 等人提出的简单无监督方法）。随后，我们通过 McNemar 检验对缺陷模块进行多样性分析，发现当比较在 HDP 方法与无监督方法之间进行时，预测多样性比仅在 HDP 方法之间或仅在无监督方法之间的比较更为明显。这表明 HDP 方法与无监督方法在识别缺陷模型上在一定程度上互补。最后，我们考虑先前 CPDP 研究推荐的两条满意准则，考察五种 HDP 方法的可行性，发现这些 HDP 方法的满意比率仍不容乐观。上述实证结果表明异构缺陷预测仍有很长的路要走。需设计更有效的 HDP 方法，且应将无监督方法作为基线。
引用
@article{arxiv.1908.06560,
title = {Revisiting Heterogeneous Defect Prediction: How Far Are We?},
author = {Xiang Chen and Yanzhou Mu and Chao Ni and Zhanqi Cui},
journal= {arXiv preprint arXiv:1908.06560},
year = {2022}
}
备注
40 pages, 13 figures