重访过程度量与产品度量：一项大规模分析
软件工程
2024-02-19 v3 机器学习
摘要
众多方法可从软件数据中构建预测模型。然而，当我们从小规模分析（处理少量项目）转向大规模分析（处理数百个项目）时，应采纳何种方法与结论？为回答此问题，我们利用来自700个Github项目的722,471次提交，重新检验了先前关于缺陷预测的过程与产品度量以及度量粒度的小规模结果。我们发现，一些小规模分析的结论在扩展到大规模分析时仍然成立。例如，与先前工作一样，我们发现过程度量比产品度量是更好的缺陷预测因子（基于过程/产品的最佳学习器分别达到98%/44%的召回率和95%/54%的AUC，中位数）。尽管如此，我们警告，信任小规模分析研究中的度量重要性结果是不明智的，因为那些结果在转向大规模分析时会发生剧烈变化。此外，当对数百个项目进行大规模推理时，最好使用多个模型的预测（因为单一模型预测可能变得混乱并表现出高方差）。
引用
@article{arxiv.2008.09569,
title = {Revisiting Process versus Product Metrics: a Large Scale Analysis},
author = {Suvodeep Majumder and Pranav Mody and Tim Menzies},
journal= {arXiv preprint arXiv:2008.09569},
year = {2024}
}
备注
36 pages, 12 figures and 5 tables