众包新闻可信度评估差异研究：评分者、任务与专家标准

关于气候变化和疫苗安全等关键问题的错误信息，时常在在线社交与搜索平台上被放大。由非专业人士进行内容可信度评估的众包，已被提出作为一种策略，试图大规模复制专家评估以打击错误信息。在这项工作中，我们调查众包与专家对新闻可信度的评估，以理解它们之间评分在何时以及如何产生差异。我们收集了一个包含超过4000条可信度评估的数据集，这些评估来自2个众包群体——新闻专业学生和Upwork工作者——以及2个专家群体——记者和科学家——针对一组多样的50篇与气候科学相关的新闻文章，该话题在公众舆论与专家共识之间存在广泛脱节。考察这些评分后，我们发现由于众包群体构成（如评分者人口统计特征与政治倾向）以及分配给众包评分的任务范围（如文章体裁与出版物的党派性）导致的表现差异。最后，我们发现由于新闻与科学专家所使用的专家标准不同而导致的专家评估差异——这些差异可能促成众包偏差，但也提示了一种通过设计与特定专家标准相匹配的众包任务来缩小差距的方法。基于这些发现，我们勾勒了未来研究方向，以更好地设计针对特定众包群体与内容类型的众包流程。