在 Scrum 认证考试题上提示 GPT-5：一项准确性的实证研究
软件工程
2026-06-29 v1 人工智能
摘要
大型语言模型（LLM）在敏捷软件开发中越来越多地被用于文档编写、辅导和培训。当从业者使用这些工具来准备诸如专业 Scrum 大师（Professional Scrum Master, PSM）等认证考试时，一个关键问题是：LLM 能否对 Scrum 这一具有规范性且规则明确的框架（其规则在《Scrum 指南》（2020）中有明确定义）进行可靠的推理。本文研究了不同的提示技术如何影响 LLM 回答 Scrum 认证风格问题的事实准确性。GPT-5 使用三种技术回答了包含 993 道经过验证的 PSM 对齐问题的数据集：零样本、思维链和带来源引用。所有提示均达到了 85% 以上的认证级准确率，其中基于引用的变体表现最佳（89.1%）且错误率最低。正确答案集中在定义明确的主题（如“完成定义”、事件和产品待办列表管理）以及单选多选题中，而多选题和更具解释性的领域（如 Scrum 团队和产品价值）则表现不够稳定。在至少有一种提示失败的问题（占 16.2%）中，错误主要聚集为与《Scrum 指南》不一致（28%）、超出其范围的内容（34%）以及过时或有偏见的解释（38%）。总体而言，提示技术带来了适度但一致的改进，特别是在减少误解和版本漂移方面，从而支持在敏捷学习和认证准备中更可靠地使用 LLM。
引用
@article{arxiv.2607.00049,
title = {Prompting GPT-5 on Scrum Certification Questions: An Empirical Accuracy Study},
author = {Mirko Perkusich and Danyllo Albuquerque and João Paiva and Robson Vilar and Emanuel Dantas and Ademar França de Sousa Neto and Rohit Gheyi and Kyller Gorgônio and Angelo Perkusich},
journal= {arXiv preprint arXiv:2607.00049},
year = {2026}
}