使用 LLM 调查学生对概念物理问题的解释
物理教育
2026-05-11 v1
摘要
分析学生对物理问题的书面解答是物理教育研究（PER）中的一个重要领域。然而，在大学课程中衡量学生的理解受到大班规模的瓶颈限制，这迫使评估仅采用多项选择（MC）格式以便于评分。尽管 MC 评估在量化科学正确的概念方面是足够的，但它无法揭示学生对物理更深层次的理解方式。大语言模型（LLM）为大规模评估学生的书面回答提供了一种有前景的方法。我们的研究使用了一个经人工评分者验证的 LLM，将学生对能量与动量概念调查中三个问题的书面解释分类为正确或不正确，并将学生的错误解释组织为涌现类别。我们发现 LLM（GPT-4o）可以公平地评估学生的解释，与人工评分者相当（差异为 0-3%）。此外，错误解释的类别与相应的 MC 干扰项不同，使得教育者能够获取不同且更深层次的概念。
引用
@article{arxiv.2508.14823,
title = {Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions},
author = {Sean Savage and N. Sanjay Rebello},
journal= {arXiv preprint arXiv:2508.14823},
year = {2026}
}
备注
5 pages, 3 figures and Physics Education Research Conference 2025