将 Elo 评级用作教育评估中比较判断的度量
人机交互
2022-04-06 v1
摘要
在绝大多数教育场景与语境中，评分与反馈是教与学的基本要素。然而，教师批改作业并向学生提供有用反馈需耗费大量时间与精力。此外，尤其在确保公平与公正方面，它也给评估者带来显著的认知负荷。因此，教育领域提出了一种称为比较判断（CJ）的替代评分方法。其受比较判断定律（LCJ）启发，通过对尽可能多的配对进行两两比较，可对全部提交作品排序。研究表明 CJ 具有高可靠性与准确性，同时使教师工作快捷。另一些研究则质疑该主张，认为为提高可靠性同一提交件多次呈现给评估者会增大结果偏差。此外，研究还发现 CJ 可能因需收集众多配对信息而导致整体评分过程比传统方法更耗时。本文中，我们研究在零和博弈（如国际象棋）选手评级中广泛使用的 Elo。我们在一个大规模 Twitter 数据集上就近期英国重大政治事件（“Brexit”，英国脱欧）展开实验，让用户从十条推文中选出的配对中判断哪条更有趣。数据分析显示，Elo 评级与 CJ 排序在统计上显著相似，Kendall's tau 得分为 0.96，p 值为 1.5x10^(-5)。最后我们就该方法在一系列教育语境中更广泛应用的可能性进行了基于证据的讨论。
关键词
引用
@article{arxiv.2204.01805,
title = {Using Elo Rating as a Metric for Comparative Judgement in Educational Assessment},
author = {Andy Gray and Alma Rahat and Tom Crick and Stephen Lindsay and Darren Wallace},
journal= {arXiv preprint arXiv:2204.01805},
year = {2022}
}
备注
12 pages, 4 figures, one table, pre-review version