远眺未来：理解众包工人的长期质量
人机交互
2016-11-02 v2 计算机视觉与模式识别
摘要
微任务众包对于创建超大规模数据集日益关键。因此，众包工人花费数周或数月重复完全相同的任务，这使得有必要了解他们在这些长时间段内的行为。我们利用来自 Amazon Mechanical Turk 的三个大型纵向数据集（包含九百万次标注），来检验关于工人在这些长时间段内会疲劳或采取满意策略从而导致工作质量下降的说法。我们发现，与这些说法相反，工人在整个期间内的质量极其稳定。为了了解工人是否根据任务的验收要求来设定其质量，我们随后进行了一项实验，在其中我们改变了一项大型众包任务所要求的质量。工人并未根据验收阈值调整其质量：高于阈值的工人继续以其通常的质量水平工作，而低于阈值的工人则自行退出该任务。利用这种一致性，我们证明了仅通过工人在前五个任务中的质量表现即可预测其长期质量。
引用
@article{arxiv.1609.04855,
title = {A Glimpse Far into the Future: Understanding Long-term Crowd Worker Quality},
author = {Kenji Hata and Ranjay Krishna and Li Fei-Fei and Michael S. Bernstein},
journal= {arXiv preprint arXiv:1609.04855},
year = {2016}
}
备注
10 pages, 11 figures, accepted CSCW 2017