野外提示演化：软件存储库中提示演变的实证研究
软件工程
2025-01-14 v2
摘要
大型语言模型（LLM）的采用正在重塑软件开发，开发人员将其集成到应用程序中。在此类应用程序中，提示作为与 LLM 交互的主要方式。尽管 LLM 集成应用程序广泛应用，但关于开发人员如何管理和演变提示的了解仍有限。本研究提出了 LLM 集成软件开发中提示演变的首个实证分析。我们分析了243个 GitHub 存储库中2,162个提示变更，探讨提示变更的模式与频率、其与代码变更的关系、文档实践以及对系统行为的影响。我们的发现表明，开发人员主要通过添加和修改来演变提示，大多数变更发生在功能开发期间。我们识别出提示工程中的关键挑战：仅21.9%的提示变更在提交信息中记录下来，变更可能引入逻辑不一致，提示变更与 LLM 响应之间常常出现偏差。这一发现强调了需要专门的测试框架、自动化验证工具以及改进的文档实践，以提高 LLM 集成应用程序的可靠性。
引用
@article{arxiv.2412.17298,
title = {Prompting in the Wild: An Empirical Study of Prompt Evolution in Software Repositories},
author = {Mahan Tafreshipour and Aaron Imani and Eric Huang and Eduardo Almeida and Thomas Zimmermann and Iftekhar Ahmed},
journal= {arXiv preprint arXiv:2412.17298},
year = {2025}
}
备注
Accepted at MSR 2025