成对工作:理解众包工作中工作者交互的影响
人机交互
2018-10-24 v1
摘要
众包作为一种利用人类脑力帮助解决计算机难以处理的问题的工具已日益普及。先前众包研究常假设工作者独立完成任务。本文放宽了众包的独立性假设,探讨引入工作者之间直接、同步且自由风格的交互将如何影响众包工作。特别地,受教育场景中同伴教学概念的启发,我们研究众包环境中同伴沟通的影响。在具有同伴沟通的众包设定中,成对工作者被要求共同完成同一任务:首先独立生成各自初始答案,然后自由讨论任务,并在讨论后更新答案。我们通过实验考察了同伴沟通对众包平台上各类常见任务的影响,包括图像标注、光学字符识别(OCR)、音频转录和营养分析。实验结果表明,相较于工作者独立完成的任务,具有同伴沟通的任务其工作质量显著提升。然而,参与同伴沟通任务对未来同类型任务中工作者独立表现的影响有限。
引用
@article{arxiv.1810.09634,
title = {Working in Pairs: Understanding the Effects of Worker Interactions in Crowdwork},
author = {Chien-Ju Ho and Ming Yin},
journal= {arXiv preprint arXiv:1810.09634},
year = {2018}
}