不确定性感知的测试优先排序：方法与经验评估
软件工程
2023-11-22 v1
摘要
复杂软件系统，例如信息物理系统（CPSs），与真实世界交互；因此，它们常在不确定的环境中表现出意料之外的行为。由于资源有限、时间紧张、测试基础设施搭建复杂，以及运行环境中固有的不确定性，测试此类系统颇具挑战。设计由测试优化技术支撑的不确定性感知测试方案，可视为应对该挑战的必然要求。本文提出一种不确定性感知且时间感知的测试用例优先排序方法，名为 UncerPrio，用于通过多目标搜索优化待执行的测试序列。为以不确定性引导优先排序，我们识别出四种不确定性度量：不确定性测量（AUM）、不确定性空间（PUS）、不确定性数量（ANU）与不确定性覆盖（PUU）。基于这些度量及其组合，我们提出了 10 个不确定性感知的多目标测试用例优先排序问题，且每个问题额外定义了一个待最小化的代价目标（执行代价，PET）与一个待最大化的有效度量（模型覆盖，PTR）。此外，考虑测试执行的时间约束（即时间感知），我们为全部 10 个问题定义了 10 个时间预算，以识别求解不确定性感知测试优先排序的最佳策略。在我们的经验研究中，我们采用了四种知名的多目标搜索算法（MuOSAs）：NSGA-II、MOCell、SPEA2 与 CellDE，使用了来自两个工业 CPS 被测系统的五个用例，并以随机算法（RS）作为对比基线。结果表明，所有 MuOSAs 均显著优于 RS。策略 Prob.6 f(PET,PTR,AUM,ANU)（即结合不确定性度量 AUM 与 ANU 的问题）在使用 100% 时间预算时，在观测不确定性方面取得了总体最佳表现。
引用
@article{arxiv.2311.12484,
title = {Uncertainty-Aware Test Prioritization: Approaches and Empirical Evaluation},
author = {Man Zhang and Jiahui Wu and Shaukat Ali and Tao Yue},
journal= {arXiv preprint arXiv:2311.12484},
year = {2023}
}