利用大型语言模型支持规模化自我反思：来自教室中随机化实验的洞见
计算机与社会
2024-11-19 v1
摘要
对学习经历的自我反思是一种基本认知过程，对知识巩固和提升学习效能至关重要。然而，传统方法往往面临个性化、反馈及时性、参与度和规模性等挑战。将大型语言模型（LLM）集成到反思过程中可缓解这些限制。在本文中，我们在计算机科学课程中进行了两项随机化现场实验，以探讨 LLM 帮助学生进行课后反思的潜力。在第一次实验中（N=145），学生在 LLM 助手的支持下完成作业；其中一半学生随后获得旨在促进自我反思的 LLM。结果表明，接受 LLM 引导反思的学生在随后两周的考试中自信心提升并表现更好。第二次实验（N=112）评估了 LLM 引导的自我反思对其他可扩展反思方法（如问卷式活动和回顾关键讲义）的影响。我们的发现表明，问卷和 LLM 反思小组的学生在随后两周同一科目的监督考试中得分更好。这些结果凸显了 LLM 引导反思和问卷式活动在提高学习成果中的作用。我们的工作表明，仅关注 LLM 的准确性会忽略其通过自我反思等实践提升元认知技能的潜力。我们讨论了本研究对教育技术社区的意义。
引用
@article{arxiv.2406.07571,
title = {Supporting Self-Reflection at Scale with Large Language Models: Insights from Randomized Field Experiments in Classrooms},
author = {Harsh Kumar and Ruiwei Xiao and Benjamin Lawson and Ilya Musabirov and Jiakai Shi and Xinyuan Wang and Huayin Luo and Joseph Jay Williams and Anna Rafferty and John Stamper and Michael Liut},
journal= {arXiv preprint arXiv:2406.07571},
year = {2024}
}
备注
Accepted at L@S'24