大规模真值推断:一种用于裁决高冗余众包标注的贝叶斯模型

众包是为机器学习创建训练与评估数据集的一种廉价且流行的方式,但它带来了“真值推断”问题,因为单个标注者不能被完全信任以提供可靠标注。关于标注聚合模型的研究试图推断潜在的“真实”标注,这已被证明可提升众包数据的效用。然而,现有技术仅在低冗余设定下(每实例标注数低,即 $\le 3$),或在标注者不可靠并产生低质量标注(例如通过 spamming、随机或对抗行为)的情形下优于简单基线。如我们所展示的,众包产生的数据集往往并非此类:数据被高度冗余标注(每实例 $\ge 5$ 个标注),且绝大多数标注者产出高质量结果。在此类设定下,多数投票启发式表现非常好,且大多数真值推断模型逊于这一简单基线。我们提出一种新技术,基于带共轭先验的贝叶斯图模型,以及简单的迭代期望最大化推断。我们的技术在性能上可与最先进基准方法竞争,并且是通过显著性检验在单侧水平 0.025 下显著优于多数投票启发式的唯一方法。此外,我们的技术简单,仅用 50 行代码实现,并在数秒内完成训练。