利用生成式AI辅助构建开放获取的大型同构题库改革物理考试：一项探索性研究
物理教育
2023-10-24 v1 计算机与社会
摘要
本文探讨了利用大型同构题库来克服大型STEM课程传统考试中的诸多挑战，尤其是内容分享网站和生成式AI对考题安全性的威胁。我们首先介绍了一种在大型语言模型GPT-3及若干其他开源工具辅助下高效生成大量同构物理问题的流程。接着我们提出，如果考题从足够大的题库中随机抽取，那么在考前向学生开放题库并不会显著影响学生的考试成绩，也不会导致对解题方案的广泛死记硬背。我们在两次物理期中考试中验证了该假设，将学生作答来自开放同构题库的题目与考前无法获取的类似迁移题目的表现进行了比较。我们发现，在两次考试中，开放题库题和迁移题均具有最高难度。正确率差异在5%至10%之间，与同类型问题不同同构版本之间的差异相当。项目反应理论分析发现，两类题目均具有高区分度（>1.5），且无显著差异。学生在开放题库题和迁移题上的表现高度相关，且相关性高于考试内题目间的平均相关性。探索性因子分析还发现，开放题库题和迁移题载荷于同一因子，甚至在第二次考试中形成了独立因子。这些观察结果均表明，向学生开放大型同构题库仅对考试成绩产生微小影响，但在改革传统课堂考试方面具有显著潜力。
引用
@article{arxiv.2310.14498,
title = {Reforming Physics Exams Using Openly Accessible Large Isomorphic Problem Banks created with the assistance of Generative AI: an Explorative Study},
author = {Zhongzhou Chen and Emily Frederick and Colleen Cui and Munaimah Khan and Christopher Klatt and Mercedith Huang and Shiyang Su},
journal= {arXiv preprint arXiv:2310.14498},
year = {2023}
}