基于微任务的众包工作系统中工人声誉信息的重要性

本文首次系统研究了众包工作系统潜在的性能提升，这些提升源自请求方掌握的关于单个工人声誉的可用信息。具体而言，我们首先将工人声誉估计可用时的最优任务分配问题形式化为受拟阵约束的单调（子模）函数的最大化。由于该最优问题是 NP-hard 的，我们提出一种简单而高效的贪心启发式任务分配算法。我们还提出一种简单的“最大后验”决策规则以及一种基于消息传递的决策算法。最后，我们测试并比较不同方案，表明系统性能可极大受益于工人声誉信息。我们的主要发现是：i) 即便对工人声誉的估计存在很大误差，也可在任务分配中有效利用以大幅改进系统性能；ii) 最大后验决策规则的性能随着工人声誉估计变得不准确而迅速退化；iii) 当工人声誉估计显著不准确时，通过将我们提出的任务分配算法与消息传递决策算法相结合可获得最佳性能。