众包能否判断真实性？一项关于近期 COVID-19 错误信息的纵向研究
信息检索
2021-09-21 v2 社会与信息网络
摘要
近来，错误信息问题已通过一种基于众包的方法得到处理：为评估某一陈述的真实性，不再依赖少数专家，而是利用一群非专家。我们研究在疫情期间众包是否是一种有效且可靠的方法来评估真实性，目标为与 COVID-19 相关的陈述，从而考察与敏感且个人化问题相关、且相对于判断时间非常近期的信息（误）信息。在我们的实验中，众包工作者被要求评估陈述的真实性，并为评估提供证据。除了表明众包能够准确判断陈述的真实性外，我们还报告了关于工作者行为、工作者间一致性、聚合函数的影响、量表转换的影响以及工作者背景与偏见的结果。我们通过多次重新发布任务，同时使用新手与有经验的工作者进行纵向研究，得出关于行为与质量如何随时间变化的重要见解。我们的结果表明：工作者能够检测并客观分类与 COVID-19 相关的在线（误）信息；众包判断与专家判断均可被转换和聚合以提升质量；工作者背景及其他信号（例如信息来源、行为）影响数据质量。纵向研究表明，时间跨度对判断质量有重大影响，无论对新手还是有经验的工作者皆然。最后，我们对被众包工作者误判的陈述提供了详尽的失败分析。
引用
@article{arxiv.2107.11755,
title = {Can the Crowd Judge Truthfulness? A Longitudinal Study on Recent Misinformation about COVID-19},
author = {Kevin Roitero and Michael Soprano and Beatrice Portelli and Massimiliano De Luise and Damiano Spina and Vincenzo Della Mea and Giuseppe Serra and Stefano Mizzaro and Gianluca Demartini},
journal= {arXiv preprint arXiv:2107.11755},
year = {2021}
}
备注
31 pages; Preprint of an article accepted in Personal and Ubiquitous Computing (Special Issue on Intelligent Systems for Tackling Online Harms, 2021). arXiv admin note: substantial text overlap with arXiv:2008.05701