变异体约简评估：现有什么与缺失什么？

背景。许多旨在减少变异体数量的变异体约简策略已被提出。问题。衡量变异体约简策略保持测试套件有效性评估的能力十分重要。然而，现有评估指标无法衡量“保序能力”。目标。我们旨在提出评估指标以衡量变异体约简策略的“保序能力”，这在我们的领域中重要但缺失。方法。给定被测软件（SUT）上带有一组原始变异体的测试套件，我们利用该测试套件生成一组在故障检测潜力上具有偏序关系的测试套件。在评估约简策略时，我们首先基于变异分数在生成的测试套件间构建两个偏序关系，一个使用原始变异体，另一个使用约简后变异体。然后，我们衡量这两个偏序关系的一致程度。两个偏序关系越一致，变异体约简策略的保序性（OP）越强，该约简策略越有效。此外，我们提出代价感知相对保序（EROP）来衡量变异体约简策略相较于随机约简策略所能提供的收益。结果。实验结果表明OP与EROP能够高效衡量变异体约简策略的“保序能力”。因此，与现有评估指标相比，它们能更好地区分各种变异体约简策略。结论。我们建议研究人员使用OP与EROP来衡量变异体约简策略的有效性。