GPT惊喜：在大型编程课中提供LLM聊天功能降低了参与度但提高了采纳者的考试表现

大型语言模型（LLMs）正在快速被广泛采纳，尤其是通过易于访问的聊天界面如ChatGPT和Copilot等普遍可用的聊天接口。这类界面全球范围内对学生和教师都 readily 可用，然而相对较少有研究对此类通用工具对学生学习的影响进行评估。编程教育是一个有趣的测试案例，原因在于LLMs在编程任务方面表现出色，而且LLM驱动的支持工具正快速成为专业软件工程师的工作流程的一部分。为了帮助理解通用LLM使用对编程教育的影响，我们进行了一次大规模随机对照试验，针对来自146个国家的5,831名学生进行在线编程课上的实验，我们为其中一些学生提供了与GPT-4进行聊天的接口。我们估计了对采纳者（使用该工具的学生）考试表现的正面益处，但总体而言，宣传GPT-4导致考试参与度显著下降。我们观察到其他课程参与形式的下降。然而，这种下降受到学生国籍的影响。为来自人类发展指数较低国家的学生提供LLM访问，平均而言，增加了他们的考试参与率。我们的結果表明，在入门级编程课中使用LLMs可能存在有前景的益处，但也可能损害参与度，这使其更长期的对学生成功的影响尚不清楚。我们的工作凸显了需要进一步调查以帮助理解未来LLMs在教室中采纳和集成的潜在影响的必要性。