聚合偏序排名及其在大规模开放在线课程同伴评分中的应用

我们研究了在大规模开放在线课程（MOOCs）中使用序数同伴评分（ordinal peer grading）评估学生的潜力。根据此类评分方案，每位学生接收少量由其他学生提交的作业并对其进行排名。然后，通过组合个体排名生成全局排名（可能转换为数值分数）。这是社会选择概念和方法的一个新颖应用领域，其中需要解决的重要问题如下：应如何分配作业，以便收集的个体排名能够轻松合并为一个全局排名，且该排名尽可能接近代表学生在作业中相对表现的排名？我们的主要理论结果表明，使用非常简单的方法分配作业，使每位学生仅需对 $k$ 份作业进行排名，当每位学生正确排名其收到的作业时，一种类似 Borda 的聚合方法可以恢复 $1-O(1/k)$ 比例的真实排名。实验结果进一步加强了我们的分析，并表明即使学生作为评分者的能力不完美，该方法也具有极强的鲁棒性。我们相信，我们的结果提供了有力证据，证明序数同伴评分可以成为 MOOCs 评估中一种高效且可扩展的解决方案。