面向LLM的仓库级提示综述
软件工程
2023-12-19 v1 计算与语言
摘要
随着编码挑战日益复杂，大型语言模型（LLMs）的最新进展取得了显著成功，例如在HumanEval基准上达到了94.6%的解决率。同时，商业上对仓库级内联代码补全工具（如GitHub Copilot和Tab Nine）的推动日益增加，旨在提高开发人员生产力。本文深入探讨从单个编码问题到仓库规模解决方案的转变，对当前关于在仓库级别有效提示LLM进行代码生成的文献进行了全面综述。我们研究了适用于黑盒LLM的方法，使其对商业用例有用且可应用，以及它们在仓库规模解释代码中的适用性。我们将仓库级提示生成技术与RepoCoder（一种迭代检索和生成方法）进行对比，以突出每种方法固有的权衡，并为其在尖端编码基准中的应用建立最佳实践。提示的迭代优化与先进检索系统开发之间的相互作用构成了我们讨论的核心，为显著提高LLM在代码生成任务中的性能提供了一条途径。本研究的见解不仅指导了这些方法的应用，还为未来研究将这些技术整合到更广泛的软件工程环境中指明了方向。
引用
@article{arxiv.2312.10101,
title = {A Review of Repository Level Prompting for LLMs},
author = {Douglas Schonholtz},
journal= {arXiv preprint arXiv:2312.10101},
year = {2023}
}
备注
15 figures/charts, 7 pages, Submitted as an NLP project at Northeastern. Focuses on comparing two papers, there are many more papers that could be included