PromptDebt：LLM项目中技术债务的全面研究
软件工程
2025-09-26 v1
摘要
大语言模型（LLMs）正越来越多地通过OpenAI等API嵌入软件中，以提供强大的AI功能而无需繁重的基础设施。然而这些集成带来了其自身的自承认技术债务（SATD）。在本文中，我们首次对LLM特有的SATD进行了大规模实证研究：其起源、普遍性和缓解策略。通过分析来自主要LLM API的93,142个Python文件，我们发现54.49%的SATD实例源于OpenAI集成，12.35%来自LangChain的使用。提示词设计被确定为LLM特有SATD的主要来源，6.61%的债务与提示词配置和优化问题相关，其次是超参数调优和LLM框架集成。我们进一步探索了哪些提示词技术最容易产生债务，发现基于指令的提示词（38.60%）和少样本提示词（18.13%）尤其脆弱，因为它们依赖于指令的清晰性和示例的质量。最后，我们发布了一个全面的SATD数据集以支持可复现性，并为管理LLM驱动系统中的技术债务提供了实用指导。
引用
@article{arxiv.2509.20497,
title = {PromptDebt: A Comprehensive Study of Technical Debt Across LLM Projects},
author = {Ahmed Aljohani and Hyunsook Do},
journal= {arXiv preprint arXiv:2509.20497},
year = {2025}
}
备注
Accepted at Proceedings of the 2025 Evaluation and Assessment in Software Engineering (EASE '25)