同伴互评中问题陈述的检测
信息检索
2020-06-09 v1 机器学习
机器学习
摘要
有效的同伴互评要求学生关注其所评作业的不足之处。因此，他们的评语应指出问题。但有哪些方法可核查他们是否做到了这一点？我们尝试将“一条评阅意见是否检测到作业问题”的判定过程自动化。我们使用了逾 18,000 条评阅意见，这些意见由被评者标注为“检测到”或“未检测到”作业问题。我们部署了若干传统机器学习模型，以及使用 GloVe 与 BERT 嵌入的神经网络模型。我们发现表现最佳者为层次注意力网络（Hierarchical Attention Network）分类器，其次为双向门控循环单元（GRU）注意力与胶囊模型，得分分别为 93.1% 与 90.5%。最佳非神经网络模型为支持向量机，得分 89.71%。其后为随机梯度下降模型与逻辑回归模型，得分分别为 89.70% 与 88.98%。
引用
@article{arxiv.2006.04532,
title = {Detecting Problem Statements in Peer Assessments},
author = {Yunkai Xiao and Gabriel Zingle and Qinjin Jia and Harsh R. Shah and Yi Zhang and Tianyi Li and Mohsin Karovaliya and Weixiang Zhao and Yang Song and Jie Ji and Ashwin Balasubramaniam and Harshit Patel and Priyankha Bhalasubbramanian and Vikram Patel and Edward F. Gehringer},
journal= {arXiv preprint arXiv:2006.04532},
year = {2020}
}
备注
8 pages, 9 images. Extended version of a paper published at EDM 2020, 13th International Conference on Educational Data Mining