在线学生成绩评估——新数据、新方法、更高精度
机器学习
2022-02-09 v2 计算机与社会
摘要
我们研究在学生学习在线课程过程中评估其动态变化成绩水平的问题。这一学生成绩(SP)建模问题是构建自适应在线教学系统的关键步骤。具体而言,我们开展了一项研究,探讨如何利用多种类型及大量的学生日志数据来训练准确的机器学习(ML)模型,以预测未来学生的成绩。本研究首次使用了近期来自四个不同智能辅导系统的四组非常大的学生数据集。我们的成果包括一种新的 ML 方法,其确立了基于逻辑回归的 SP 建模的新 state of the art,并在多方面优于早期方法:首先,我们通过引入可从常规答题日志中轻松计算的新特征(例如学生最近作答的模式)提高了准确率。其次,我们利用了超出问答对范围的学生历史特征(例如学生观看或跳过的视频片段等特征)以及课程中先修结构的有关信息。第三,我们针对课程的不同方面训练了多个专门的 SP 模型(例如分别专长于学生历史的前期与后期片段),然后将这些专门模型组合以生成 SP 的群体预测。总体而言,这些创新在四个数据集上取得了 0.808 的平均 AUC 分数,而此前最佳逻辑回归方法得分为 0.767,并且也优于 state-of-the-art 深度神经网络方法。重要的是,我们在每个数据集中都观察到三项方法学创新各自带来了一致的改进,这表明我们的方法具有通用性,并可能为其他在线辅导系统带来改进。
引用
@article{arxiv.2109.01753,
title = {Assessing the Performance of Online Students -- New Data, New Approaches, Improved Accuracy},
author = {Robin Schmucker and Jingbo Wang and Shijia Hu and Tom M. Mitchell},
journal= {arXiv preprint arXiv:2109.01753},
year = {2022}
}