众包系统的时间敏感贝叶斯信息聚合
人工智能
2016-04-20 v2 机器学习
摘要
众包系统通常面临聚合可能不可靠的工人所提供的多个判断的问题。此外，高效众包流程设计的若干方面，例如定义工人奖金、任务公平价格与时限，涉及对当前任务可能持续时间的了解。综合这些，本文引入一种新的时间敏感贝叶斯聚合方法，同时估计任务持续时间并获得众包判断的可靠聚合。我们的方法称为 BCCTime，其建立的关键洞见是：工人执行任务所花费的时间是其产生判断可能质量的重要指示。为捕捉这一点，BCCTime 使用潜变量表示关于工人完成时间、任务持续时间以及工人准确度的不确定性。为将判断质量与工人投入任务的时间相关联，我们的模型假设每个任务在一个潜时间窗内完成，在此窗内，所有具有真正尝试标注任务倾向（即非垃圾信息发送者）的工人被期望提交其判断。相反，有效标注倾向较低的工人，如垃圾信息发送者、机器人或懒惰标注者，被假设为执行任务比正常工人所需时间显著更快或更慢。具体地，我们使用高效的消息传递贝叶斯推断来学习以下项的近似后验概率：(i) 每个工人的混淆矩阵，(ii) 每个工人的有效标注倾向，(iii) 每个任务的无偏持续时间，以及 (iv) 每个任务的真实标签。使用两个用于实体链接任务的真实公共数据集，我们表明 BCCTime 相比最先进的方法产生了高达 11% 更准确的分类，以及对任务持续时间高达 100% 更具信息量的估计。
引用
@article{arxiv.1510.06335,
title = {Time-Sensitive Bayesian Information Aggregation for Crowdsourcing Systems},
author = {Matteo Venanzi and John Guiver and Pushmeet Kohli and Nick Jennings},
journal= {arXiv preprint arXiv:1510.06335},
year = {2016}
}