中文

学生使用大语言模型驱动的编程助手时的求助模式

计算机与社会 2024-01-09 v1

摘要

大规模提供个性化辅助一直是计算教育者的长期挑战,但新一代由大语言模型(LLMs)驱动的工具带来了巨大前景。此类工具理论上可在大型课堂环境中提供按需帮助,并配置适当的护栏以防止滥用并缓解围绕学习者过度依赖的常见担忧。然而,LLM 驱动工具在真实课堂环境中的部署仍然罕见,目前关于学生将如何在实践中使用它们以及他们会寻求何种类型的帮助知之甚少。为此,我们考察了学生对一款创新的 LLM 驱动工具的使用情况,该工具提供按需编程辅助但不直接泄露解决方案。我们将该工具部署在一门计算机与数据科学入门课程中(n = 52)长达 12 周,收集了学生整个学期提交的超过 2500 条查询。我们基于所寻求的辅助类型手动对所有学生查询进行了分类,并自动分析了若干额外的查询特征。我们发现大多数查询请求对编程作业的即时帮助,而较少请求相关概念帮助或深化概念理解。此外,学生常向工具提供最少的信息,表明这是一个有针对性的教学有益之处。我们还发现,在课程中取得更多成功的学生往往总体上更频繁地使用工具。本研究所得经验可被计划用新兴 LLM 驱动工具增强教学的编程教育者与机构所借鉴。

关键词

引用

@article{arxiv.2310.16984,
  title  = {Patterns of Student Help-Seeking When Using a Large Language Model-Powered Programming Assistant},
  author = {Brad Sheese and Mark Liffiton and Jaromir Savelka and Paul Denny},
  journal= {arXiv preprint arXiv:2310.16984},
  year   = {2024}
}