我该选用哪种提示技术？面向软件工程任务的提示技术实证研究
软件工程
2025-06-09 v1
摘要
近年来，提出了多种用于大语言模型（LLM）的提示工程技术，但针对每种技术在单个软件工程（SE）任务上的系统性评估仍有不足。本研究在四个LLM模型上，对14种已建立的提示技术进行系统评估，涵盖10个SE任务。如前文所述，所选提示技术跨越六个核心维度（零样本、少样本、思维生成、集成、自批判、分解）。这些技术在诸如代码生成、bug修复、代码导向问答等任务上进行评估。我们的结果显示，对于需要复杂逻辑和深度推理的任务，哪些提示技术最有效；而对于更依赖上下文理解和示例驱动情境的任务，哪些提示技术更为适用。我们还分析了提示语言特征与提示技术提升SE任务性能的因素之间的的相关性。此外，我们报告了每种提示技术在特定任务和模型下的时间和token消耗，为实践者在选用最佳提示技术提供指导。
引用
@article{arxiv.2506.05614,
title = {Which Prompting Technique Should I Use? An Empirical Investigation of Prompting Techniques for Software Engineering Tasks},
author = {E. G. Santana and Gabriel Benjamin and Melissa Araujo and Harrison Santos and David Freitas and Eduardo Almeida and Paulo Anselmo da M. S. Neto and Jiawei Li and Jina Chun and Iftekhar Ahmed},
journal= {arXiv preprint arXiv:2506.05614},
year = {2025}
}