测试集直径:量化测试用例集的多样性
软件工程
2022-09-15 v1
摘要
软件测试人员中一种常见且自然的直觉是:若要恰当地测试软件系统并确保其质量,测试用例必须有所差异。因此,大量研究致力于制定衡量测试用例、其输入和/或输出差异的距离度量。然而,这些提案的共同点是它们特定于数据类型,和/或仅计算测试输入、执行轨迹或输出两两之间的多样性。我们提出了一种衡量测试集多样性的新度量:测试集直径(TSDm)。它基于信息论中关于多重集归一化压缩距离(NCD)计算的最新进展,扩展了我们早期的成对测试多样性度量。其优势在于 TSDm 可不受数据类型限制地应用于任何测试相关信息,而不仅仅是测试输入。缺点是与竞争方法相比计算时间增加。我们在四个不同系统上的实验表明,即使仅应用于测试输入,测试集直径也能帮助选择比随机选择具有更高结构覆盖和故障覆盖的测试集。这能够实现早期的测试设计与选择,甚至在尚未有可测软件系统之前,并补充其他类型的测试自动化与分析。我们认为,这种对测试集多样性的量化创造了许多更好地理解软件质量的机会,并提供了提高其质量的实用方法。
引用
@article{arxiv.1506.03482,
title = {Test Set Diameter: Quantifying the Diversity of Sets of Test Cases},
author = {Robert Feldt and Simon Poulding and David Clark and Shin Yoo},
journal= {arXiv preprint arXiv:1506.03482},
year = {2022}
}
备注
In submission