众包能否客观识别错误信息？判断尺度与评估者背景的影响

真实性判断是打击错误信息过程中的基础步骤，因为它们对于训练和评估自动区分真假陈述的分类器至关重要。通常此类判断由专家作出，例如政治陈述由记者、医疗陈述由医生。本文采用不同方法，依赖（非专家）众包工作者。这自然引出如下研究问题：众包能否可靠地用于评估信息真实性，并为信息可信度系统创建大规模标注集合？为解决这个问题，我们呈现了一项基于众包的广泛研究的结果：我们在两个数据集上收集了数千条真实性评估，并将专家判断与以不同粒度等级表达的众包判断进行比较。我们还测量了工作者的政治偏见与认知背景，并量化了它们对众包所提供数据可靠性的影响。