Twitter上的众包事实核查：众包与专家相比如何？
信息检索
2022-08-22 v1 人工智能
数据库
摘要
事实核查是对抗在线错误信息的有效解决方案之一。然而，传统事实核查是一个需要稀缺专家人力资源的过程，因而在社交媒体上难以良好扩展，因为待核查的新内容持续涌现。基于众包的方法已被提出以应对这一挑战，因其能以更小成本扩展规模，但尽管已证明可行，却始终在受控环境中被研究。本工作中，我们研究了首个在实践中部署的大规模众包事实核查努力，即由Twitter通过Birdwatch项目发起的。我们的分析表明，众包在某些场景下可能是一种有效的事实核查策略，甚至可与人类专家所得结果相媲美，但在其他场景下并未产生一致、可操作的成果。我们处理了经Birdwatch项目核查的11.9k条推文，并报告了以下实证证据：i) 众包与专家在选择待核查内容上的差异，ii) 众包与专家在检索不同核查资源上的差异，以及 iii) 相较于专家核查者，众包在事实核查可扩展性与效率上的优势。
引用
@article{arxiv.2208.09214,
title = {Crowdsourced Fact-Checking at Twitter: How Does the Crowd Compare With Experts?},
author = {Mohammed Saeed and Nicolas Traub and Maelle Nicolas and Gianluca Demartini and Paolo Papotti},
journal= {arXiv preprint arXiv:2208.09214},
year = {2022}
}