手工测试确有坏味道！自然语言测试坏味道的编目与识别
软件工程
2023-08-04 v1
摘要
背景：测试坏味道指示自动化软件测试设计与实现中的潜在问题，可能负面冲击测试代码可维护性、覆盖率与可靠性。当描述拙劣时，以自然语言书写的手工测试可能遭受相关问题，从而可从测试坏味道视角对其加以分析。尽管对经手工测试的软件产品或有损害，人们对手工测试中的测试坏味道知之甚少，致使其类型、频次及对自然语言测试的损害等大量开放问题悬而未决。目标：故此，本研究旨在贡献一份手工测试测试坏味道编目。方法：我们施行双重实证策略。首先，对三系统的手工测试作探索性研究：Ubuntu 操作系统、巴西电子投票机及某大型智能手机厂商之用户界面。我们藉发现提议含八种测试坏味道的编目及基于句法与形态文本分析的识别规则，并以 24 名企业测试工程师验证编目。其次，依我们的提议，创建基于自然语言处理(NLP)的工具以分析受试系统测试，验证结果。结果：我们观测到八种测试坏味道之发生。对 24 名企业测试专业人员之调查显示 80.7% 认同我们的编目定义与示例。我们基于 NLP 的工具取得 92% 准确率、95% 召回率与 93.5% 的 f-measure，其执行在受分析系统中证据出 13,169 处我们所编目测试坏味道。结论：我们贡献了自然语言测试坏味道编目与新检测策略，其更佳发掘当前 NLP 机制之能力，结果可喜且分析异语测试之投入减省。
引用
@article{arxiv.2308.01386,
title = {Manual Tests Do Smell! Cataloging and Identifying Natural Language Test Smells},
author = {Elvys Soares and Manoel Aranda and Naelson Oliveira and Márcio Ribeiro and Rohit Gheyi and Emerson Souza and Ivan Machado and André Santos and Baldoino Fonseca and Rodrigo Bonifácio},
journal= {arXiv preprint arXiv:2308.01386},
year = {2023}
}
备注
The 17th ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM), 2023