哪个是更好的编程助手？ChatGPT 与 Stack Overflow 的比较研究
软件工程
2023-08-29 v1
摘要
程序员常向问答网站寻求帮助以解决编程中遇到的问题。十多年来，Stack Overflow 一直是广泛使用的此类平台。近来，ChatGPT 等革命性 AI 驱动平台凭借通过自然语言交互提供高效且个性化的编程协助，迅速在程序员中流行。两个平台都能为程序员提供有价值的帮助，但尚不清楚哪个更能有效提升程序员生产力。在本文中，我们开展了一项探索性用户研究，比较 Stack Overflow 与 ChatGPT 在提升程序员生产力方面的表现。两组编程能力相近的学生被分别指导使用两个平台解决三类不同编程任务：算法挑战、库使用与调试。实验中，我们测量并比较了两组所产代码的质量及完成任务耗时。结果显示，在代码质量方面，ChatGPT 在算法与库相关任务上显著优于 Stack Overflow，而 Stack Overflow 更擅长调试任务；在任务完成速度方面，ChatGPT 组在算法挑战中明显快于 Stack Overflow 组，其余两类任务两组表现相近。此外，我们进行了实验后问卷调查以了解平台如何帮助参与者完成编程任务，并分析问卷总结了参与者指出的 ChatGPT 与 Stack Overflow 的优缺点。通过比较，我们揭示了两平台在编程协助中表现差异的原因。
引用
@article{arxiv.2308.13851,
title = {Which is a better programming assistant? A comparative study between chatgpt and stack overflow},
author = {Jinrun Liu and Xinyu Tang and Linlin Li and Panpan Chen and Yepang Liu},
journal= {arXiv preprint arXiv:2308.13851},
year = {2023}
}