成对测试能否与工业工程师手工设计的测试相媲美？
软件工程
2017-06-07 v1
摘要
测试是工业软件工程中的一项重要活动。对于此类软件，通常基于特定的设计技术和特定领域的经验手工设计测试套件来进行测试。为了在测试中支持开发者，已经提出了多种生成良好测试套件的方法。在过去几年中，组合测试得到了探索，其目标是基于特定策略自动组合软件的输入值。成对测试是一种组合技术，通过改变系统中每对输入参数的值来生成测试套件，直到创建这些参数的所有可能组合。有一些证据表明，这类技术在检测软件故障方面是高效且相对较好的。遗憾的是，关于这些组合测试技术与被认为是严格手工设计的测试之间的比较，实验证据很少。在本研究中，我们将成对测试套件与工程师为 45 个工业程序手工创建的测试套件进行了比较。这些测试套件从故障检测、代码覆盖率和测试数量方面进行了评估。本研究的结果表明，成对测试虽然在大多数程序中实现高代码覆盖率和故障检测方面很有用，但在故障检测方面几乎与手工测试一样有效。结果还表明，对于 64% 的程序，成对测试在故障检测方面与手工测试一样好。
引用
@article{arxiv.1706.01636,
title = {Can Pairwise Testing Perform Comparably to Manually Handcrafted Testing Carried Out by Industrial Engineers?},
author = {Peter Charbachi and Linus Eklund and Eduard Enoiu},
journal= {arXiv preprint arXiv:1706.01636},
year = {2017}
}