置于显微镜下：一种用于检测自然语言冗余测试用例的细粒度方法
软件工程
2022-10-05 v1
摘要
自然语言（NL）文档是软件管理者与测试人员间的桥梁，NL 测试用例在系统级测试及其他质量保证活动中十分普遍。由于需求冗余、并行测试以及长期演进历史中的测试人员流动等原因，不可避免地存在大量冗余测试用例，显著增加了成本。已有冗余检测方法通常将文本描述作为整体比较相似度，精度较低。我们的观察揭示，测试用例可具有明确的测试导向实体，如被测功能组件（Components）、约束（Constraints）等；且这些实体间存在特定关系。这启示了精确冗余检测的潜在机会。本文首先定义五类测试导向实体与四类关联关系，并将 NL 测试用例冗余检测问题重构为受测试导向实体与关系引导的详细测试内容比较。随后，我们提出 Tscope，一种通过将测试用例解剖为受关联关系约束实体的原子测试元组来实现冗余 NL 测试用例检测的细粒度方法。作为测试用例解剖，Tscope 设计了用于自动实体与关系抽取的上下文感知模型。对来自十个项目的 3,467 个测试用例的评估显示，Tscope 可达 91.8% 准确率、74.8% 召回率与 82.4% F1，显著优于 SOTA 方法与常用分类器。这一 NL 测试用例冗余检测问题的新表述可激励后续研究进一步改进该任务及其他涉及 NL 描述的的相关任务。
引用
@article{arxiv.2210.01661,
title = {Putting Them under Microscope: A Fine-Grained Approach for Detecting Redundant Test Cases in Natural Language},
author = {Zhiyuan Chang and Mingyang Li and Junjie Wang and Qing Wang and Shoubin Li},
journal= {arXiv preprint arXiv:2210.01661},
year = {2022}
}
备注
12 pages, 6 figures, to be published in ESEC/FSE 22