中文

ChatGPT是一个好的软件图书管理员吗?一项关于使用ChatGPT进行软件库推荐的探索性研究

软件工程 2024-08-23 v1 人工智能 机器学习

摘要

软件库在软件系统的功能性、效率和可维护性方面发挥着关键作用。随着开发者日益依赖大语言模型(LLM)来简化编码过程,这些模型在推荐合适库方面的有效性变得至关重要,但尚未得到充分探索。在本文中,我们评估了ChatGPT作为软件图书管理员的有效性,并指出了需要改进的领域。我们通过一项实证研究,使用GPT-3.5 Turbo为10,000个Stack Overflow问题生成Python代码。我们的发现表明,ChatGPT使用第三方库的频率比人类开发者高出近10%,倾向于采用广泛采用且已确立的选项。然而,14.2%的推荐库具有限制性复制左许可证,而ChatGPT并未明确传达这一点。此外,6.5%的库开箱即用失败,可能导致开发者困惑和时间浪费。虽然ChatGPT可以成为一个有效的软件图书管理员,但它应通过提供更明确的维护性指标和许可证信息得到改进。我们建议开发者实施严格的依赖管理实践,并在将LLM生成的代码集成到项目之前仔细检查库许可证。

关键词

引用

@article{arxiv.2408.05128,
  title  = {Is ChatGPT a Good Software Librarian? An Exploratory Study on the Use of ChatGPT for Software Library Recommendations},
  author = {Jasmine Latendresse and SayedHassan Khatoonabadi and Ahmad Abdellatif and Emad Shihab},
  journal= {arXiv preprint arXiv:2408.05128},
  year   = {2024}
}

备注

Submitted