面向软件开发和机器学习的私有 GPT 测试工具
软件工程
2025-08-04 v2 人工智能
摘要
本文检验了私有 GPT 自动生成可执行测试代码的能力，具体而言的是基于需求生成可执行的测试代码。更具体地，我们使用作为现代开发流程中 epic 或 story 部分而使用的接受准则作为输入，这为产品负责人或业务智能等提供了直接生成可测试准则的途径。我们以两种方式探讨所产生测试的质量：i) 直接让 LLM 从需求生成代码，ii) 通过使用 Gherkin 语法进行中间步骤。结果表明，两步程序产生的结果更好——我们在人类可读性和最佳编码实践方面定义得更好，即代码行数和通常用于测试的额外库的使用情况。具体而言，我们评估了不同情景下的提示效果：一个简单的“Hello World”程序和一个手写数字分类模型，显示结构化提示导致更高质量的测试输出。
引用
@article{arxiv.2506.06509,
title = {Private GPTs for LLM-driven testing in software development and machine learning},
author = {Jakub Jagielski and Consuelo Rojas and Markus Abel},
journal= {arXiv preprint arXiv:2506.06509},
year = {2025}
}
备注
5 pages, 10 figures