评估 ChatGPT 在数字学习游戏中的小数技能与反馈生成能力
人机交互
2023-06-30 v1 人工智能
计算机与社会
摘要
尽管多项研究表明开放式自我解释能促进稳健学习，但由于学生输入的无约束性，其在技术增强学习中的自动评分与反馈面临重大挑战。我们的工作考察了近期大语言模型（Large Language Model, LLM）尤其是 ChatGPT 的进展能否解决此问题。利用来自学习游戏 Decimal Point 先前研究的小数练习与学生数据（含超过 5000 条开放式自我解释响应），我们探究 ChatGPT 在以下方面的能力：(1) 解答游戏内练习，(2) 判定学生答案正确性，以及 (3) 对错误答案提供有意义的反馈。结果显示 ChatGPT 能较好回答概念性问题，但在小数位值与数轴问题上表现吃力。此外，它准确评估了 75% 的学生答案正确性，并生成了与人类教师相近的普遍高质量反馈。我们以对 ChatGPT 优势与弱点的讨论作结，并提出了拓展其在数字教与学中用例的若干方向。
引用
@article{arxiv.2306.16639,
title = {Evaluating ChatGPT's Decimal Skills and Feedback Generation in a Digital Learning Game},
author = {Huy A. Nguyen and Hayden Stec and Xinying Hou and Sarah Di and Bruce M. McLaren},
journal= {arXiv preprint arXiv:2306.16639},
year = {2023}
}
备注
Be accepted as a Research Paper in 18th European Conference on Technology Enhanced Learning