中文

预测变异测试有效性的威胁:未覆盖变异体的影响

软件工程 2020-05-26 v1

摘要

预测变异测试(PMT)是一种利用机器学习方法预测变异体是否会被杀死的技术。研究者们已在跨项目设定下提出了多种用于PMT的机器学习方法。然而,他们并未考虑未覆盖变异体的影响。若生成变异体的语句未被任何测试用例执行,则该变异体为未覆盖变异体。我们表明,未覆盖变异体夸大了先前的PMT结果。此外,我们旨在提出一种改进PMT的替代方法,并为跨项目PMT提出一种不同的解释。我们复现了先前的PMT研究。我们还提出了一种基于随机森林与梯度提升相结合的方法来改进PMT结果。我们在先前PMT文献提供的相同654个Java项目上对我们的方法进行了实证评估。结果表明,PMT的性能在AUC指标上从0.83急剧下降至0.51。此外,在27%的测试项目上,PMT的表现甚至不如随机猜测。所提出的方法将平均AUC值提升至0.61,从而改进了PMT结果。

关键词

引用

@article{arxiv.2005.11532,
  title  = {The Threat to the Validity of Predictive Mutation Testing: The Impact of Uncovered Mutants},
  author = {Alireza Aghamohammadi and Seyed-Hassan Mirian-Hosseinabadi},
  journal= {arXiv preprint arXiv:2005.11532},
  year   = {2020}
}