结合 TSL 与 LLM 自动化 REST API 测试：一项比较研究

对 REST API 进行有效测试仍然是开发团队面临的一项重大挑战，其原因在于分布式系统的固有复杂性、众多可能场景以及测试设计可用时间的有限性。对所有输入组合进行穷举测试是不切实际的，往往导致未检测到的故障、高人工成本和有限的测试覆盖率。为解决这些问题，我们提出了 RestTSLLM，一种利用测试规范语言（TSL）结合大语言模型（LLM）来自动化生成 REST API 测试用例的方法。该方法针对两个核心挑战：测试场景的创建和适当输入数据的定义。所提出的解决方案将提示工程技术与自动化流水线相结合，评估了多种 LLM 根据 OpenAPI 规范生成测试的能力。评估聚焦于成功率、测试覆盖率和变异得分等指标，实现了对模型性能的系统比较。结果表明，表现最佳的 LLM——Claude 3.5 Sonnet（Anthropic）、Deepseek R1（Deepseek）、Qwen 2.5 32b（Alibaba）和 Sabia 3（Maritaca）——始终生成稳健且上下文一致的 REST API 测试。其中，Claude 3.5 Sonnet 在所有指标上均优于其他模型，在本研究中被证明是最适合该任务的模型。这些发现凸显了 LLM 在基于 API 规范自动化生成测试方面的潜力。