探索 AI 结对编程的问题、成因与解决方案：基于 GitHub 与 Stack Overflow 的研究
软件工程
2024-09-04 v4
摘要
随着人工智能（AI）和大型语言模型（LLMs）的最近进展，基于 AI 的代码生成工具成为软件开发中的实用解决方案。GitHub Copilot 作为 AI 结对程序员，利用在大量代码片段语料库上训练的机器学习模型，通过自然语言处理生成代码建议。尽管其在软件开发中广受欢迎，但关于使用 Copilot 的从业者的实际经验的实证证据仍然有限。为此，我们开展了一项实证研究，以了解从业者在使用 Copilot 时面临的问题、其潜在成因以及可能的解决方案。我们从 473 个 GitHub issues、706 个 GitHub discussions 和 142 个 Stack Overflow 帖子中收集了数据。我们的结果显示：(1) 操作问题与兼容性问题是 Copilot 用户面临的最常见问题；(2) Copilot 内部错误、网络连接错误和编辑器/IDE 兼容性问题被认定为最频繁的成因；(3) 由 Copilot 修复缺陷、修改配置/设置和使用合适版本是主要的解决方案。基于结果，我们讨论了 Copilot 可改进的潜在方面，并为 Copilot 用户、Copilot 团队以及研究人员提供了启示。
引用
@article{arxiv.2311.01020,
title = {Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow},
author = {Xiyu Zhou and Peng Liang and Beiqi Zhang and Zengyang Li and Aakash Ahmad and Mojtaba Shahin and Muhammad Waseem},
journal= {arXiv preprint arXiv:2311.01020},
year = {2024}
}
备注
Preprint accepted for publication in Journal of Systems and Software, 2024