GitHub Copilot 对计算专业学生在棕地编程任务中编程有效性、效率和流程的影响

当计算学位项目的毕业生进入软件行业时，他们最有可能加入由他人开发的遗留代码库的团队。在这些所谓的棕地软件开发环境中，像 GitHub Copilot 这样的生成式人工智能（GenAI）编程助手正在迅速转变软件开发实践，但 GenAI 对执行棕地开发任务的学生程序员的影响仍未被充分探索。本文研究了 GitHub Copilot 如何影响本科生在完成棕地编程任务（在此任务中他们向不熟悉的代码库添加新代码）时的编程表现、行为和理解。我们进行了一项对照实验，10 名计算机科学本科生在有和没有 Copilot 的情况下完成了高度相似的棕地开发任务，任务基于一个遗留 Web 应用程序。采用结合表现分析、行为分析和退出访谈的混合方法，我们发现使用 Copilot 时学生完成任务的速度快 35%（p < 0.05），解决方案进展多 50%（p < 0.05）。此外，我们的分析显示，使用 Copilot 时，学生手动编写代码的时间减少了 11%（p < 0.05），进行网页搜索的时间减少了 12%（p < 0.05），提供了他们在编程参与方式上发生根本转变的证据。在退出访谈中，学生报告了对 Copilot 建议如何以及为何生效缺乏理解的担忧。本研究表明，计算教育工作者需要开发新的教学方法，在利用 GenAI 助手优势的同时，培养学生对 GenAI 建议如何以及为何解决棕地编程任务的反思。完整的研究结果和分析见 https://ghcopilot-icer.github.io/。