ChatGPT 能否生成逼真的合成系统需求说明书？——来自案例研究的结果
摘要
系统需求说明书（SyRSs）是中心性、自然语言（NL） artifacts。获取真实SyRS以进行科研目的极其宝贵，但受制于专有限制或保密问题。生成合成SyRSs（SSyRSs）可解决这一稀缺问题。如此黑盒式大语言模型（LLM）如ChatGPT通过提供无需获取真实数据即可获得NL生成功能而具有引人注目的生成能力。然而，LLM suffers from幻觉和过度自信，这构成了其使用的主要挑战。我们设计了一项探索性研究，以调查尽管存在这些挑战，我们能否无需获取真实SyRSs即可使用ChatGPT生成逼真的SSyRSs。我们采用系统化方法，利用提示模式、LLM-based质量评估和迭代提示优化，生成了300份跨越10个行业的SSyRSs。结果通过跨模型检查和专家研究（n=87份提交的调查）进行评估。62%的专家认为这些SSyRSs是逼真的。然而，深入检查揭示了矛盾陈述和缺陷。总体而言，我们能够在一定程度上使用ChatGPT生成逼真的SSyRSs，但LLM-based质量评估无法完全取代彻底的专家评估。这篇论文呈现了我们的研究方法和结果，并讨论了我们获得的关键见解。
引用
@article{arxiv.2603.09335,
title = {Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study},
author = {Alex R. Mattukat and Florian M. Braun and Horst Lichter},
journal= {arXiv preprint arXiv:2603.09335},
year = {2026}
}
备注
This is the accepted version of a paper that will appear in the proceedings of the 21st International Conference on Evaluation of Novel Approaches of Software Engineering (ENASE 2026). The final published version will be available from Science and Technology Publications (SCITEPRESS). 15 pages, 3 figures, 7 tables