探索基于生成式 AI 辅助的学生物理概念题书面作答反馈撰写：提示工程与少样本学习
物理教育
2024-06-17 v2
摘要
教师的反馈在学生的概念理解和推理能力发展中起着关键作用。然而，批改学生书面作答并提供个性化反馈可能耗费大量时间。在本研究中，我们探索使用 GPT-3.5 借助提示工程和少样本学习技术，为学生对概念题的书面作答撰写反馈。在第一阶段，我们选取一道概念题上少量（n=20）学生作答用于迭代训练 GPT。其中四份作答及对应人工撰写反馈作为示例纳入提示中。我们令 GPT 对其余 16 份作答生成反馈，并在若干轮迭代后优化提示。在第二阶段，我们向四名研究生提供这 16 份作答以及两版反馈，一版由作者撰写，另一版由 GPT 撰写。要求学生评价每份反馈的正确性与有用性，并指出哪一份由 GPT 生成。结果显示，学生在正确性上倾向于对人工与 GPT 反馈给予同等评价，但均认为 GPT 反馈更有用。此外，识别 GPT 反馈的成功率较低，介于 0.1 至 0.6 之间。在第三阶段，我们令 GPT 对其余学生作答（n=65）生成反馈。反馈由四名教师根据若其提供给学生所需修改程度进行评价。所有教师均评价约 70% 的反馈语句仅需微小修改或无需修改。本研究展示了仅以相对较少示例利用生成式 AI 作为助手生成学生书面作答反馈的可行性。AI 辅助可大幅减少批改学生书面作答耗时的解决方案之一。
引用
@article{arxiv.2311.06180,
title = {Exploring Generative AI assisted feedback writing for students' written responses to a physics conceptual question with prompt engineering and few-shot learning},
author = {Tong Wan and Zhongzhou Chen},
journal= {arXiv preprint arXiv:2311.06180},
year = {2024}
}