数学语言处理:开放式数学问题的自动评分与反馈
机器学习
2015-01-20 v1 人工智能
计算与语言
机器学习
摘要
尽管计算机和通信技术为扩大教育的许多方面提供了有效手段,但作业和测试等评估的提交与评分仍然是一个薄弱环节。在本文中,我们研究了自动评分在 STEM(科学、技术、工程和数学)课程中占据重要地位的开放式数学问题这一难题。我们的数学语言处理(MLP)数据驱动框架利用大量学习者的解答数据来评估其解答的正确性、分配部分得分,并向每位学习者提供关于可能错误位置的反馈。MLP 借鉴了文本数据自然语言处理的成功经验,包含三个主要步骤。首先,我们将每个开放式数学问题的解答转换为一系列数值特征。其次,我们对多个解答的特征进行聚类,以揭示正确、部分正确和错误解答的结构。我们开发了两种不同的聚类方法,一种利用通用聚类算法,另一种基于贝叶斯非参数方法。第三,我们根据剩余(可能数量巨大)解答所分配的聚类以及每个聚类由教师提供的一个评分,对其进行自动评分。作为额外优势,我们可以跟踪多步解答中每一步的聚类分配,并确定其何时偏离正确解答聚类,从而能够向学习者指出可能的错误位置。我们在真实世界的 MOOC 数据上测试并验证了 MLP,以展示其如何大幅减少大规模教育平台所需的人力投入。
引用
@article{arxiv.1501.04346,
title = {Mathematical Language Processing: Automatic Grading and Feedback for Open Response Mathematical Questions},
author = {Andrew S. Lan and Divyanshu Vats and Andrew E. Waters and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:1501.04346},
year = {2015}
}
备注
ACM Conference on Learning at Scale, March 2015