你下一次位程编程伙伴会是人类吗？基于课堂情境的生成式 AI 协作伙伴实证评估
人机交互
2025-05-14 v1
摘要
生成式 AI (GenAI)，尤其是大型语言模型 (LLM)，正在快速改变编程工作流程和计算机科学教育。许多程序员现在将 GenAI 工具整合到其工作流程中，包括用于协作编码任务，如位程编程。虽然传统位程编程的好处已被证明，并且开始探索 GenAI 辅助编码，但 LLM 基于工具作为协作伙伴的角色仍未得到充分考察。在本工作中，我们对 39 名 undergraduate 学生进行了混合方法的研究，以检验 GenAI 对位程编程中的协作、学习和绩效的影响。具体而言，学生在三种条件下完成六项课堂作业：传统位程编程 (PP)、带 GenAI 的位程编程 (PAI) 和仅用 GenAI 的独立编程 (SAI)。他们使用了基于 LLM 的内联完成工具（如 GitHub Copilot）和基于 LLM 的对话工具（如 ChatGPT）。我们的结果显示，PAI 条件的学生获得了最高的作业得分，而 SAI 条件的学生得分最低。此外，学生对 LLM 编程能力的态度在与 LLM 基于工具合作后显著改善，偏好主要受有助于完成作业和学习编程技能的有用性以及协作质量的影响。我们的定性发现进一步表明，尽管学生欣赏 LLM 基于工具作为有价值的位程编程伙伴，但他们也识别出了局限性且对人类队友的期望不同。我们的研究为通过三种条件（PP、PAI 和 SAI）对 GenAI 作为位程编程协作伙伴进行实证评估提供了其中一项研究。我们也讨论了未来 GenAI 辅助位程编程方法的设计含义和教学考虑。
引用
@article{arxiv.2505.08119,
title = {Will Your Next Pair Programming Partner Be Human? An Empirical Evaluation of Generative AI as a Collaborative Teammate in a Semester-Long Classroom Setting},
author = {Wenhan Lyu and Yimeng Wang and Yifan Sun and Yixuan Zhang},
journal= {arXiv preprint arXiv:2505.08119},
year = {2025}
}
备注
Accepted by Learning @ Scale 2025