众包标注中 optimal 预算分配的统计决策

在众包标注中，大量未标记的数据实例被外包给众包工人。工人将为其提供的每个标签获得报酬，但标注请求者通常只有有限的预算。由于数据实例具有不同级别的标注难度，且工人具有不同的可靠性，因此需要一种 optimal 策略在所有实例 - 工人对之间分配预算，以最大化整体标注准确率。我们考虑分类标注任务，并将预算分配问题 formulat 为贝叶斯马尔可夫决策过程（MDP），该过程同时进行学习和决策。利用动态规划（DP）递推，可以获得 optimal 分配策略。然而，当问题规模增大时，DP 很快变得计算上不可行。为解决这一挑战，我们提出了一种计算高效的近似策略，称为乐观知识梯度策略。我们的 MDP 是一个相当通用的框架，适用于具有同质工人的拉取式众包市场和具有异质工人的推送式市场。当实例的上下文信息可用时，它也可以纳入这些信息。在模拟数据和真实数据上的实验表明，所提出的策略在相同预算水平下比其他现有策略实现了更高的标注准确率。