监督实践:在线讨论论坛中由讲师监控的 LLM 回应经验
计算机与社会
2024-12-13 v1
摘要
将大型语言模型 (LLM) 集成到计算教育中为学生学习带来了许多潜在益处,文献中还报道了许多新颖的教学方法。然而,LLM 也带来了挑战,其中最常提及的挑战之一是学生过度依赖。这一挑战因 LLM 随时可用以提供即时帮助和解决方案而加剧,这可能会削弱学生独立解决问题、诊断和解决错误的能力。提供对 LLM 生成内容的讲师监控可缓解这一问题,但在实时学习情境中往往不够实用。线上课堂讨论论坛——在计算教育中广泛使用——为探索讲师监控提供了一个机会,因为它们以异步方式运行。不同于实时互动,讨论论坛的格式符合“响应可能需要一段时间”的预期,这使得监控不仅可行,而且在教育上也合适。本文是一篇实践论文,介绍了一种由讲师控制、集成到线上讨论论坛中的“机器人”模块的设计、部署和评估。该机器人通过生成学生提问的草稿回应来帮助讲师,讲师随后审查、修改并批准后再发布。关键功能包括能够利用课程材料、访问已存档讨论记录,并以匿名方式发布回应以鼓励开放参与。我们报告了在一门为期 12 周、面向二年级软件工程课程(面向面向对象编程)的使用经验。讲师反馈表明,该工具成功缓解了工作负担,但也指出了在处理复杂、情境依赖性查询方面仍需改进。我们报告了被视为最有益的功能,并提出了未来探索的方向。
引用
@article{arxiv.2412.09048,
title = {Oversight in Action: Experiences with Instructor-Moderated LLM Responses in an Online Discussion Forum},
author = {Shuying Qiao and Paul Denny and Nasser Giacaman},
journal= {arXiv preprint arXiv:2412.09048},
year = {2024}
}
备注
Accepted to ACE'25