Sentinel:用于生成变异约简策略的超启发式方法
软件工程
2021-03-15 v1 人工智能
摘要
变异测试是评估和强化软件测试套件的有效方法,但其应用目前受限于变异体执行的计算成本。已提出若干策略以降低该成本(即变异成本约简策略),然而它们均未被证明对所有场景有效,因为它们通常需要根据被测软件(SUT)进行特定的手动选择与配置。本文提出一种新颖的多目标进化超启发式方法,称为 Sentinel,以针对每个新 SUT 自动生成最优成本约简策略。我们通过一项涉及 10 个开源真实软件系统的 40 个发布版本、并以基线与最先进策略为基准的全面实证研究来评估 Sentinel。我们共执行 4800 次实验,并依据文献中最新最佳实践,使用质量指标与统计显著性检验评估其结果。结果表明,Sentinel 生成的策略在 95% 的案例中优于基线策略,且效应量始终很大。它们在 88% 的案例中取得 statistically 显著优于最先进策略的结果,其中 95% 效应量很大。此外,本研究揭示,Sentinel 为某软件版本生成的变异策略可在 95% 的案例中用于后续开发版本而无质量损失。这些结果表明,Sentinel 能够自动生成在不影响测试有效性(即变异得分)的前提下降低变异测试成本的变异策略,从而将测试人员为每个 SUT 手动选择与配置策略的负担卸下。
引用
@article{arxiv.2103.07241,
title = {Sentinel: A Hyper-Heuristic for the Generation of Mutant Reduction Strategies},
author = {Giovani Guizzo and Federica Sarro and Jens Krinke and Silvia Regina Vergilio},
journal= {arXiv preprint arXiv:2103.07241},
year = {2021}
}
备注
in IEEE Transactions on Software Engineering