测试人员交互性在基于搜索的软件测试中产生差异：一项受控实验

背景：基于搜索的软件测试 (SBST) 有望以最小的时间和精力增加提供生成高质量测试用例的能力，从而提高产品质量。先前一项调查工业环境中 SBST 应用的研究产生了一个结果，即交互式基于搜索的软件测试 (ISBST) 系统的开发。ISBST 允许用户与底层 SBST 系统交互，引导搜索并评估结果。一项工业评估表明，ISBST 系统能够找到采用手动技术的测试人员未创建的测试用例。然而，由于参与者数量少，该评估的有效性受到威胁。目标：本文提出一项后续研究，以对 ISBST 系统进行更严格的评估。方法：为评估 ISBST 系统，对修读验证与确认课程的 58 名学生进行了双向交叉受控实验。采用 NASA 任务负荷指数 (NASA-TLX) 评估实验参与者经历的工作负荷。结果：实验结果验证了以下假设：ISBST 系统生成的测试用例未被采用手动测试技术的相同参与者发现。一项后续实验室实验也调查了交互在获取结果中的重要性。除这一主要结果外，还通过 NASA-TLX 工具评估了每位参与者的主观工作负荷。评估显示，虽然 ISBST 系统需要参与者付出更多努力，但他们取得了相同的性能。结论：本文提供的证据表明，ISBST 系统开发的测试用例未被手动技术发现，且交互在实现该结果中起着重要作用。