构建失效模型与解释虚假失效的测试生成策略

测试输入不仅在受测系统有缺陷时失败，也会在输入无效或不切实际时失败。由无效或不切实际的测试输入导致的失效是虚假的。避免虚假失效能提高测试在执行系统主要功能方面的有效性，特别是对于单次测试执行耗时较长的计算密集型（CI）系统。在本文中，我们提出构建失效模型，以推断导致虚假失效的测试输入的可解释规则。我们考察了构建失效模型的两种替代策略：（1）机器学习（ML）引导的测试生成和（2）代理辅助的测试生成。ML 引导的测试生成推断分离通过和失败测试输入的边界区域，并从这些区域采样测试输入。代理辅助的测试生成依赖代理模型来预测测试输入的标签，而不是执行所有输入。我们提出了一种新颖的代理辅助算法，该算法同时使用多个代理模型，并动态选择最准确模型的预测。我们实证评估了基于代理辅助和 ML 引导测试生成算法推断出的失效模型的准确性。使用来自信息物理系统和网络领域的案例研究，我们表明我们提出的代理辅助方法生成的失效模型平均准确率为 83%，显著优于 ML 引导的测试生成和两个基线。此外，我们的方法学习到的诱发失效规则能够识别真正的虚假失效，这一点已通过领域知识验证。