COVID-19信息疫情：众包能否客观评判近期错误信息？
信息检索
2020-08-14 v1 计算与语言
摘要
错误信息是一个日益增长且难以解决的研究界难题，并对整个社会产生负面影响。最近，该问题通过基于众包的方法来扩大标注工作：为评估某一陈述的真实性，不再依赖少数专家，而是利用一群（非专家）评判者。我们沿用同一方法研究众包是否是一种有效且可靠的方法来评估大流行期间陈述的真实性。我们特别关注与COVID-19卫生紧急事件相关的陈述，该研究进行时此事件仍在进行，并 arguably 导致了在线传播错误信息的增加（对此现象使用了“infodemic（信息疫情）”一词）。由此，我们能够探讨与卫生这类敏感且个人化问题相关、且相对于评判时间非常近期的信息（真）伪——这两个问题在相关工作中尚未被分析。在我们的实验中，众包工人被要求评估陈述的真实性，并提供作为URL和文字说明的评估证据。除展示众包能够准确判断陈述真实性外，我们还报告了多方面结果，包括：工人间一致性、不同聚合函数的影响、量表转换的影响，以及工人背景/偏见的影响。我们还通过专门记录器收集的查询提交、发现/选择的URL、文字说明以及点击和鼠标动作等其他行为数据，分析了工人行为。
引用
@article{arxiv.2008.05701,
title = {The COVID-19 Infodemic: Can the Crowd Judge Recent Misinformation Objectively?},
author = {Kevin Roitero and Michael Soprano and Beatrice Portelli and Damiano Spina and Vincenzo Della Mea and Giuseppe Serra and Stefano Mizzaro and Gianluca Demartini},
journal= {arXiv preprint arXiv:2008.05701},
year = {2020}
}
备注
10 pages; Preprint of the full paper accepted at CIKM 2020