学习雇佣团队

众包和人类计算已被用于日益复杂的项目，这些项目需要解决异构任务集。我们探索了从已投标任务的可用申请者或工人池中，构建或雇佣一支有效团队以持续执行此类项目所需任务的挑战。招募者需要通过进行在线测试和面试来学习工人的技能和专长，并希望在决定雇佣团队之前最小化在此过程中花费的预算或时间。如何能最优地花费预算来学习工人专长作为招募团队的一部分？如何能利用任务间的相似性以及工人间潜在的社会关系或共性来实现更快的学习？我们通过将这些决策理论挑战构建为最佳动作选择的在线学习实例来应对它们。我们提出了具有关于以高置信度雇佣近最优团队所需预算的PAC边界的算法。此外，我们考虑将任务和工人嵌入到可能源于任务相似性或社会关系的底层图中，这能为更快学习提供额外的侧面观测。然后我们根据该图结构的特征属性量化可实现的边界改进。我们在模拟问题实例以及从oDesk平台收集的真实世界众包数据上评估了我们的方法。我们的方法和结果提出了解决基于合同的众包中招募者所面临挑战的一个有趣研究方向。