CodeHelp：利用带护栏的大语言模型为编程课堂提供可扩展支持
计算机与社会
2023-08-15 v1
摘要
计算学科教育者在为学生提供及时支持方面面临重大挑战，尤其是在大班教学中。大语言模型（LLM）近期出现，并在大规模按需帮助方面展现出巨大潜力，但人们担忧学生可能过度依赖这些模型生成的输出。在本文中，我们介绍 CodeHelp，一种新颖的由 LLM 驱动并带有护栏的工具，旨在不直接泄露解答的情况下为编程学生提供按需帮助。我们详述了该工具的设计，其包含若干对教学者有用的特性，并阐述了为确保生成输出适合学生而采用的提示策略流程。为评估 CodeHelp，我们将其部署于一门有 52 名学生的一年级计算机与数据科学课程中，并在 12 周内收集了学生交互数据。我们考察了学生的使用模式与对工具的感知，并报告了课程教师的反思以及一系列课堂使用建议。我们的研究结果表明，CodeHelp 深受学生欢迎，他们尤其看重其可用性与在解决错误方面的帮助；对于教师而言，它易于部署，并且是对其提供的学生支持的补充而非替代。
引用
@article{arxiv.2308.06921,
title = {CodeHelp: Using Large Language Models with Guardrails for Scalable Support in Programming Classes},
author = {Mark Liffiton and Brad Sheese and Jaromir Savelka and Paul Denny},
journal= {arXiv preprint arXiv:2308.06921},
year = {2023}
}