基于元工人的众包：一种节省预算的新途径

由于互联网工人的不可靠性，难以令人满意地完成众包项目，尤其在任务多样且预算有限时。近来，元学习为少样本学习带来新活力，使得仅用少量训练样本获得具有尚可性能的分类器成为可能。在此我们引入\emph{元工人}概念，即由元学习训练的、面向适合AI的任务类型（即图像分类）的机器标注器。与常规众包工人不同，元工人可靠、稳定，且更重要的是不知疲倦且免费。我们首先对未标注数据聚类，并请众包工人重复标注簇中心附近的实例；随后利用已标注数据和元训练数据集，通过不同元学习算法构建一组元工人。接着，请元工人标注剩余众包任务。采用Jensen-Shannon散度衡量元工人所提供标注间的不一致程度，以此决定是否应邀请众包工人对该任务作进一步标注。最后，我们对元工人的偏好建模，并通过加权多数投票计算共识标注。我们的实证研究表明，通过结合机器与人类智能，我们能以低于SOTA任务分配方法的预算完成众包项目，同时达到更优或可比的质量。