接纳错误以实现快速众包
人机交互
2016-02-16 v1 计算机视觉与模式识别
摘要
微任务众包推动了社会科学与机器学习领域的数据集进展，但现有众包方案过于昂贵，无法随数据量扩张而扩展。为了扩展并拓宽众包的应用性，我们提出了一种针对二元和分类标签生成极快速判断的技术。我们的技术不是惩罚所有错误（这导致工作者缓慢而审慎地操作），而是将工作者的判断加速到错误可接受甚至预期发生的程度。我们展示了通过随机化任务顺序和建模响应延迟可以纠正这些错误。我们在一系列常见标注任务上评估了我们的技术，如图像验证、词语相似度、情感分析和主题分类。先前工作相对于固定多数投票通常实现0.25倍至1倍加速，而我们的方法常实现一个数量级（10倍）的加速。
引用
@article{arxiv.1602.04506,
title = {Embracing Error to Enable Rapid Crowdsourcing},
author = {Ranjay Krishna and Kenji Hata and Stephanie Chen and Joshua Kravitz and David A. Shamma and Li Fei-Fei and Michael S. Bernstein},
journal= {arXiv preprint arXiv:1602.04506},
year = {2016}
}
备注
10 pages, 7 figures, CHI '16, CHI: ACM Conference on Human Factors in Computing Systems (2016)