演进型癌症登记系统测试的成本降低
软件工程
2023-10-02 v1
摘要
由挪威癌症登记处(CRN)构建的癌症登记支持系统(CaReSS)是一个复杂的真实世界社会技术软件系统,其实现处于持续演进中。因此,需要用自动化测试工具对CaReSS持续测试,以始终确保其可靠性。针对CaReSS一个关键软件子系统(即GURI)的自动化测试,我们展示了开源工具EvoMaster扩展的真实世界应用,该扩展利用进化算法自动生成测试用例。我们将此扩展命名为EvoClass,它通过机器学习分类器增强EvoMaster以降低整体测试成本。这至关重要,因为使用EvoMaster测试涉及向部署于不同环境(包括生产环境)的GURI发送大量请求,其性能与功能可能受大量请求影响。EvoClass的机器学习分类器可预测EvoMaster生成的请求是否会成功执行;若否,分类器过滤掉此类请求,从而减少需在GURI上执行的请求数。我们在四年间的十个GURI版本上于三种环境(开发、测试和生产)评估了EvoClass。结果表明,与默认EvoMaster相比,EvoClass在所有三种环境中均能显著降低成本而不降低测试有效性(以规则覆盖率衡量)。总体而言,EvoClass实现了约31%的整体成本降低。最后,我们报告了同样对研究者和从业者有价值的经验与教训。
引用
@article{arxiv.2309.17038,
title = {Cost Reduction on Testing Evolving Cancer Registry System},
author = {Erblin Isaku and Hassan Sartaj and Christoph Laaber and Tao Yue and Shaukat Ali and Thomas Schwitalla and Jan F. Nygård},
journal= {arXiv preprint arXiv:2309.17038},
year = {2023}
}
备注
11 pages, 4 figures, accepted to the industry track of the 2023 IEEE International Conference on Software Maintenance and Evolution (ICSME)