CrowdGrader：众包作业评估
计算机科学与博弈论
2013-09-24 v2
摘要
众包为大量项目的排序和评分提供了一种实用方法。为了研究可用于众包质量评估的算法和激励机制，我们构建了CrowdGrader，这是一个允许学生提交作业解答并协作评分的工具。我们介绍了CrowdGrader中使用的算法和技术，并描述了在多个计算机科学作业中使用该工具的结果和经验。CrowdGrader利用一种基于声誉系统的新型众包算法，将学生提供的评分整合为每个提交的共识评分。该算法迭代地精化共识评分与每个学生评分准确率之间相互依赖的估计。在合成数据上，该算法优于不基于声誉的替代方案。在我们的初步实验数据上，性能似乎取决于评审误差的性质，可归因于评审者的误差比随机外部事件引起的误差更易处理。为了激励评审者，每个学生在作业中获得的评分是其提交获得的共识评分与反映其评审投入和准确率的评审评分的组合。该激励机制在实践中效果良好。
引用
@article{arxiv.1308.5272,
title = {On Computability of Equilibria in Markets with Production},
author = {Jugal Garg and Vijay V. Vazirani},
journal= {arXiv preprint arXiv:1308.5272},
year = {2013}
}
备注
An extended abstract will appear in SODA 2014