库版本在开发者与 ChatGPT 对话中的作用
软件工程
2024-01-30 v1
摘要
最新的大型语言模型 (LLM) 突破已使软件开发工具（如 ChatGPT）能够帮助开发者完成复杂任务。开发者使用 ChatGPT 编写代码、审查代码变更，甚至调试程序。在这些交互中，ChatGPT 常常会推荐依赖外部库的代码片段。然而，库中的代码会随时间变化，使一次正确的代码片段失效，导致难以重用所推荐的代码。在本研究中，我们分析了超过 4000 条 Developer-ChatGPT 交互的 DevGPT 数据集，以了解库版本在代码相关对话中的作用。我们量化了库版本约束在代码相关对话中出现的频率，以及 ChatGPT 推荐特定库安装的时机。我们的发现表明，尽管 ChatGPT 不断推荐并分析依赖外部依赖项的代码，库版本约束仅出现在 9% 的对话中。在大多数对话中，版本约束都是由用户提出的（而非由 ChatGPT 指定的），这是一种获得更好质量响应的方法。此外，我们通过定性方法研究库版本约束在对话中的使用方式，识别出了几个需要进一步研究的潜在问题。
引用
@article{arxiv.2401.16340,
title = {The role of library versions in Developer-ChatGPT conversations},
author = {Rachna Raj and Diego Elias Costa},
journal= {arXiv preprint arXiv:2401.16340},
year = {2024}
}