BUOCA：预算优化的众包工作者分配
人机交互
2019-01-29 v1 机器学习
机器学习
摘要
由于对众包中人为错误的担忧，标准做法是向多名互联网工作者收集同一数据点的标签。本文表明，通过灵活的工作者分配策略，将较少的工作者分配给易于标注的数据、将较多的工作者分配给需要额外审查的数据，可以更有效地利用由此产生的预算。我们的主要贡献是展示了如何仅基于任务特征（不使用工作者画像）最优地计算分配给任务的工作者数量。我们的目标任务是在显微镜图像中描绘细胞以及分析推文中对2016年美国总统候选人的情感。我们首先提出一种计算预算优化众包工作者分配（BUOCA）的算法。接下来我们训练一个机器学习系统（BUOCA-ML），用于预测最大化标注准确性所需的最优众包工作者数量。我们表明，所计算的分配可在保持标注准确性的同时大幅节省众包预算（高达49个百分点）。最后，我们设想一种人机系统，用于执行超出众包可行规模的数据分析的预算优化。
引用
@article{arxiv.1901.06237,
title = {BUOCA: Budget-Optimized Crowd Worker Allocation},
author = {Mehrnoosh Sameki and Sha Lai and Kate K. Mays and Lei Guo and Prakash Ishwar and Margrit Betke},
journal= {arXiv preprint arXiv:1901.06237},
year = {2019}
}