面向缺陷预测模型的一致性能评估
软件工程
2023-02-07 v2
摘要
在缺陷预测领域，已提出许多缺陷预测模型，且确有更多新模型在持续开发。然而，对于如何评估新提出模型的性能尚无共识。本文旨在提出 MATTER，一个面向一致性能比较的框架（fraMework towArd a consisTenT pErformance compaRison），使模型性能在不同研究间可直接比较。我们采取三项行动构建缺陷预测模型的一致评估框架。首先，我们提出一个简单易用的无监督基线模型 ONE（glObal baseliNe modEl）以提供“单一比较基准”。其次，我们提议使用 SQA 工作量对齐的阈值设定以实现公平比较。第三，我们建议以统一方式报告评估结果，并为此提供一组核心性能指标，从而实现跨研究比较以取得真正进展。实验结果表明，MATTER 可作为支持缺陷预测模型一致性能评估的有效框架，因此有助于判断新提出的缺陷预测模型对从业者是否实际有用，并反映缺陷预测道路上的真实进展。此外，当应用 MATTER 评估近年来提出的代表性缺陷预测模型时，我们发现其中大多数（即便不是全部）在 SQA 工作量感知的预测性能上并不优于简单基线模型 ONE。这揭示出缺陷预测的真实进展被高估了。因此我们建议，在未来研究中，当提出任何新缺陷预测模型时，应使用 MATTER 评估其实际有用性（在相同基准测试数据集上），以推进缺陷预测的科学进展。
引用
@article{arxiv.2302.00394,
title = {Toward a consistent performance evaluation for defect prediction models},
author = {Xutong Liu and Shiran Liu and Zhaoqiang Guo and Peng Zhag and Yibiao Yang and Huihui Liu and Hongmin Lu and Yanhui Li and Lin Chen and Yuming Zhou},
journal= {arXiv preprint arXiv:2302.00394},
year = {2023}
}
备注
47 pages, 15 pages