激励高质量众包工作
计算机科学与博弈论
2015-03-20 v1
摘要
我们研究了经济激励对众包工作质量的因果影响。我们专注于基于绩效的支付(PBPs),即奖励给产出高质量工作的工人的奖金支付。我们在流行的众包平台 Amazon Mechanical Turk 上设计并运行了随机行为实验,旨在理解 PBPs 在何时、何地以及为何有效,并识别使它们最有效的支付属性、支付结构以及任务本身特征。我们提供了 PBPs 确实能提高质量的任务示例。对于此类任务,PBPs 的有效性对获得奖金所需的质量阈值不太敏感,而奖金数额必须足够大以使奖励显著。我们也展示了 PBPs 无法提高质量的任务示例。我们的结果表明,要使 PBPs 提高质量,任务必须是对努力敏感的:任务必须允许工人通过付出更多努力来产出更高质量的工作。我们还提供了一种简单的方法来先验地确定任务是否对努力敏感。此外,我们的实验表明,Mechanical Turk 上的所有支付在某种程度上都是隐式基于绩效的,因为工人相信如果他们的表现足够差,他们的工作可能会被拒绝。最后,我们提出了一种新的工人行为模型,该模型扩展了经济学中的标准委托 - 代理模型,纳入了工人关于其获得支付可能性的主观信念,并表明该模型的预测与我们的实验发现一致。该模型可用作众包市场激励理论研究的基礎。
引用
@article{arxiv.1503.05897,
title = {Incentivizing High Quality Crowdwork},
author = {Chien-Ju Ho and Aleksandrs Slivkins and Siddharth Suri and Jennifer Wortman Vaughan},
journal= {arXiv preprint arXiv:1503.05897},
year = {2015}
}
备注
This is a preprint of an Article accepted for publication in WWW \c{opyright} 2015 International World Wide Web Conference Committee