利用源自学生参与度与表现的个人化权重提升 MOOC 中作文同伴互评准确性
计算机与社会
2024-12-19 v1
摘要
大多数 MOOC 平台要么使用简单的方案来汇总同伴评分（例如取平均值或中位数），要么采用大幅增加学生工作量的方法，例如校准同伴评审。为了在简单方案中减小教师与学生汇总分数之间的误差，且无需要求繁重的评分校准阶段，一些提案计算特定的权重以计算同伴评分的加权汇总。在本工作中，与以往大多数研究不同，我们分析了使用学生的参与度和表现指标来计算个人化权重，并研究了由这些常见函数（平均值和中位数）以及来自信息检索领域的另外两个函数（即几何平均数和调和平均数）所产生的汇总分数的有效性。为了测试此流程，我们分析了一门关于哲学的 MOOC 的数据。该课程共有 1059 名学生注册，其中 91 人参与了同伴评审过程，包括撰写一篇作文并使用评分量表对三位同伴进行评分。我们计算并比较了使用加权和非加权版本获得的汇总分数。结果表明，当使用中位数且权重根据学生在章节测试中的表现来计算时，汇总分数的有效性及其与教师评分的相关性相对于同伴评分可以得到提升。
引用
@article{arxiv.2412.13348,
title = {Improving essay peer grading accuracy in MOOCs using personalized weights from student's engagement and performance},
author = {Carlos García-Martínez and Rebeca Cerezo and Manuel Bermúdez and Cristóbal Romero},
journal= {arXiv preprint arXiv:2412.13348},
year = {2024}
}