使用生成式 AI 的需求工程:提示与提示模式
软件工程
2023-11-08 v1
摘要
[背景]:由于其资源密集型特性,企业日益认识到自动化需求工程(RE)任务的重要性。GenAI 的出现使这些任务更易于自动化,这归功于其有效理解和解释上下文的能力。[问题]:然而,在 GenAI 背景下,提示工程是成功的关键因素。尽管如此,我们目前缺乏系统评估和确定特定 RE 任务应采用的最有效提示模式的工具与方法。[方法]:使用 GPT-3.5 turbo API 自动化了与需求相关的两项任务,具体而言即需求分类与追踪。性能评估涉及对使用 5 种提示模式创建并以编程方式实现以执行所选 RE 任务的各种提示进行评估,聚焦于精确率、召回率、准确率和 F-Score 等指标。[结果]:本文评估了 5 种提示模式使 GPT-3.5 turbo 执行所选 RE 任务的有效性,并就特定 RE 任务应使用哪种提示模式给出了建议。此外,它还提供了一个评估框架,作为希望针对不同 RE 任务评估不同提示模式的研究人员与从业者的参考。
引用
@article{arxiv.2311.03832,
title = {Requirements Engineering using Generative AI: Prompts and Prompting Patterns},
author = {Krishna Ronanki and Beatriz Cabrero-Daniel and Jennifer Horkoff and Christian Berger},
journal= {arXiv preprint arXiv:2311.03832},
year = {2023}
}