影响测试不稳定性的因素及其效应的实证分析——从业者的认知

开发者总是希望确保他们对代码库的最新更改不会破坏现有功能。如果测试用例失败，他们期望这些失败与所提交的更改相关。不幸的是，不稳定测试（flaky test）可能是测试失败的原因。开发者花费时间将可能的测试失败关联到所提交的更改，却最终发现这些失败的原因是测试不稳定性。识别真实失败或不稳定测试失败的困境影响了开发者关于何为测试不稳定性的认知。先前关于测试不稳定性的研究仅限于测试异味和检测测试不稳定性的工具。在本文中，我们在斯堪的纳维亚地区的四家不同行业进行了多案例研究，以理解从业者对测试不稳定性的认知及其在不同行业间的差异。我们观察到从业者对测试不稳定性的认知差异很小。我们识别出 23 个被认为会影响测试不稳定性的因素。这些被认知的因素被归类为 1) 软件测试质量，2) 软件质量，3) 实际不稳定测试，以及 4) 公司特定因素。我们研究了效应的性质，例如因素是增加、减少还是影响检测测试不稳定性的能力。我们与 4 家公司的不同参与者验证了我们的发现以避免偏差。参与者中对所识别因素及其效应的平均一致率分别为 86% 和 86%。