利用 Amazon Mechanical Turk 众包复杂公民工程任务的实验经验教训
社会与信息网络
2014-07-01 v1 计算机与社会
摘要
我们研究了利用众包获取复杂工程任务高度可信结果的可行性。众包日益被视为增加解决社会问题劳动力供给的一种潜在强大方式。虽然在公民科学、公民新闻或知识组织（如维基百科）等领域的应用已取得许多成功，但专注于解决工程问题（尤其是涉及复杂任务的问题）的应用较少。这部分可能是因为人们担心输入到工程分析和设计中的低质量数据可能导致结构失效，从而造成生命损失。我们将 Amazon Mechanical Turk (AMT)（一种在线众包服务）上匿名工作者的工作质量与专家工程师在评估虚拟风洞数据图表这一复杂工程任务中的工作质量进行了比较。在这项具有代表性的复杂工程任务中，我们的结果显示专家工程师与众包工作者在工作质量上几乎没有差异，并解释了产生这些结果的原因。除了展示众包工作者能够有效完成新的复杂任务外，本文还提供了在从 AMT 收集数据过程中学到的许多重要经验教训，这些可能对其他研究人员具有价值。
引用
@article{arxiv.1406.7588,
title = {Lessons Learned from an Experiment in Crowdsourcing Complex Citizen Engineering Tasks with Amazon Mechanical Turk},
author = {Matthew Staffelbach and Peter Sempolinski and David Hachen and Ahsan Kareem and Tracy Kijewski-Correa and Douglas Thain and Daniel Wei and Greg Madey},
journal= {arXiv preprint arXiv:1406.7588},
year = {2014}
}