缺陷预测模型性能度量与成本节约潜力关系探究
软件工程
2022-07-28 v2
摘要
背景:性能度量是任何机器学习模型评估的核心组成部分,用于比较模型并估计其实用性。近期工作开始质疑在许多性能度量用于软件缺陷预测这一目的时的有效性。目标:在本研究中,我们探究性能度量与缺陷预测模型成本节约潜力之间的关系。我们研究性能度量是否适合作为评估成本节约能力的代理指标,并推导性能度量与成本节约潜力之间关系的理论。方法:我们在缺陷预测实验中测量性能度量和成本节约潜力。我们使用多项logit模型、决策树和随机森林对度量与成本节约之间的关系进行建模。结果:我们未能发现成本节约与性能度量之间的稳定关系。我们将这种关系的缺失归因于性能度量无法解释少数非常大比例的软件制品是成本主要驱动因素这一性质。结论:任何旨在寻找最佳预测模型的缺陷预测研究都必须直接考虑成本节约,因为否则无法对缺陷预测的经济效益做出合理断言。
引用
@article{arxiv.2104.00566,
title = {Exploring the relationship between performance metrics and cost saving potential of defect prediction models},
author = {Steffen Tunkel and Steffen Herbold},
journal= {arXiv preprint arXiv:2104.00566},
year = {2022}
}
备注
Under review