跨项目缺陷预测中公共数据质量问题的实证研究
软件工程
2018-05-29 v1
摘要
背景:包括 Jureczko 和 NASA 数据集在内的两个公共缺陷数据已被广泛用于跨项目缺陷预测(CPDP)。缺陷数据的质量已被报道为影响缺陷预测性能的重要因素,且 Shepperd 等人已研究过 NASA 数据集中的数据质量问题。然而,迄今为止,尚无研究关注在 CPDP 中使用最广泛的 Jureczko 数据集的质量问题。目的:本文旨在调查 Jureczko 数据集中相同与不一致案例的问题,并验证移除这些有问题案例是否会对 CPDP 中的缺陷预测性能产生影响。方法:分别从各单独数据集内以及来自某软件项目不同版本的成对数据集两个方面报告相同与不一致案例的问题。然后通过移除重复和不一致案例提供清洗后的 Jureczko 数据集版本。最后采用三种训练数据选择方法比较清洗后数据集与原始数据集的缺陷预测性能。结果:基于 AUC 和 F-Measure 的实验结果表明,大多数数据集获得了非常不同的缺陷预测性能。结论:研究 CPDP 中的数据质量问题非常必要,且清洗后的 Jureczko 数据集可能在 CPDP 中提供更可靠的缺陷预测性能。
引用
@article{arxiv.1805.10787,
title = {An empirical study of public data quality problems in cross project defect prediction},
author = {Zhongbin Sun and Junqi Li and Heli Sun},
journal= {arXiv preprint arXiv:1805.10787},
year = {2018}
}
备注
submitted to ESEM 2018