从需求规范设计系统测试用例：使用 ChatGPT 的见解与挑战
软件工程
2024-12-06 v1 人工智能
摘要
系统测试是确保最终产品满足需求的任何软件开发项目中的必需步骤。从需求创建全面的测试用例往往具有挑战性且耗时。这篇论文探讨了使用大型语言模型 (LLMs) 从软件需求规范 (SRS) 文档生成测试用例设计的有效性。在本研究中，我们收集了五个包含功能和非功能需求的软件工程项目的 SRS 文档，这些项目由相应开发团队实现、测试并交付。用于生成测试用例设计，我们使用 ChatGPT-4o Turbo 模型。我们采用 prompt-chaining，从初始 context-setting prompt 开始，随后跟随针对每个 use case 生成测试用例的 prompt。我们通过来自上述开发团队的反馈来评估所生成测试用例设计的质量。我们的实验表明，约 87% 的生成测试用例是有效的，其余 13% 要么不可应用，要么是冗余的。值得注意的是，15% 的有效测试用例是开发人员在测试中先前未考虑的。我们还让 ChatGPT 识别冗余测试用例，这些用例随后由相应开发人员验证以识别误报，并揭示可能被开发人员自身遗漏的冗余测试用例。这项研究突显了利用 LLMs 从需求规范文档生成测试的潜力，以及为开发人员快速识别和解决冗余问题的潜力，最终提高测试套件质量和测试程序的效率。
引用
@article{arxiv.2412.03693,
title = {System Test Case Design from Requirements Specifications: Insights and Challenges of Using ChatGPT},
author = {Shreya Bhatia and Tarushi Gandhi and Dhruv Kumar and Pankaj Jalote},
journal= {arXiv preprint arXiv:2412.03693},
year = {2024}
}