基于跨域感知的带训练工人选择方法

通过众包进行标注日益受到关注，这依赖于给定工作者池的有效选择方案。现有方法基于具有ground truth的任务上的绩效来选择工作者，但遗漏了两个重要要点。1）工作者在其他任务中的历史绩效。在现实场景中，工作者需要解决新任务，这些任务与先前任务的相关性在训练之前尚不清楚，这称为跨域。2）随着工作者从ground truth中学习，工作者绩效的动态变化。本文在设计称为跨域感知的带训练工人选择方法的分配方案时，考虑了这两个因素。我们的方案提出了两个估计模块，用于对跨域相关性进行统计分析，并动态模拟工作者的学习收益。给出了一个关于工作者消除过程的理论分析框架。为验证我们方法的有效性，我们收集了两个新颖的真实数据集并生成了合成数据集。实验结果表明，在真实数据集和合成数据集上，我们的方法在基线方法上均表现出色。