探究 ChatGPT 在需求获取过程中的辅助潜力
软件工程
2023-07-17 v1
摘要
面向需求工程(RE)的自然语言处理(NLP4RE)旨在将 NLP 工具、技术与资源应用于 RE 过程，以提升需求质量。涉及利用基于生成式 AI 的 NLP 工具与技术进行需求获取的研究甚少。近来，诸如 ChatGPT 之类的大语言模型(LLM)因在 NLP 任务中性能显著提升而获得广泛关注。为探索 ChatGPT 辅助需求获取过程的潜力，我们拟定了六个问题以使用 ChatGPT 获取需求。使用同样的六个问题，我们对来自学术界与工业界的五位 RE 专家开展了基于访谈的调查，收集了包含需求的 30 条回复。另一位五位 RE 专家通过第二轮基于访谈的调查，依据七项不同的需求质量属性对这 36 条回复(人工拟定 + ChatGPT 生成)的质量进行了评估。在比较 ChatGPT 生成需求与人工专家拟定需求的质量时，我们发现 ChatGPT 生成的需求具有高度抽象性、原子性、一致性、正确性与可理解性。基于这些结果，我们提出了与 LLM 最相关的问题，以及未来研究应如何聚焦以在自然语言驱动的 RE 活动中更有效地利用 LLM 的涌现行为。
引用
@article{arxiv.2307.07381,
title = {Investigating ChatGPT's Potential to Assist in Requirements Elicitation Processes},
author = {Krishna Ronanki and Christian Berger and Jennifer Horkoff},
journal= {arXiv preprint arXiv:2307.07381},
year = {2023}
}
备注
Accepted at SEAA 2023. 8 pages, 5 figures