真实性的多维度：基于多维标度的众包虚假信息评估
信息检索
2021-08-24 v2
摘要
近期研究已证明使用众包作为评估公开声明真实性工具的可行性。在特定条件下，例如：(1) 拥有背景和认知能力各异的均衡工作者群体；(2) 使用一套充分的机制来控制所收集数据的质量；(3) 使用粗粒度的评估标度，众包能够提供可靠的虚假新闻识别。然而，虚假新闻是一个微妙的问题：声明可能只是有偏见的（“精挑细选”）、不精确的、错误的等等，而现有工作中使用的单维度真实性标度无法解释这些差异。在本文中，我们提出了一个多维度的真实性概念，并要求众包工作者评估基于现有文献选择的七个不同维度的真实性：正确性、中立性、可理解性、精确性、完整性、发言者可信度以及信息量。我们部署了一套质量控制机制，以确保在两个数据集上分布的 180 条公开事实核查声明所收集的数千条评估具有足够的质量，其中包括一个供众包工作者使用的定制搜索引擎，用于查找支持其真实性评估的网页。对众包判断的全面分析表明：(1) 与专家提供的黄金标准相比，众包评估是可靠的；(2) 所提出的真实性维度捕获了独立的信息片段；(3) 众包任务易于工作者学习；(4) 由此产生的评估为更完整地估计声明真实性提供了有用的基础。
引用
@article{arxiv.2108.01222,
title = {The Many Dimensions of Truthfulness: Crowdsourcing Misinformation Assessments on a Multidimensional Scale},
author = {Michael Soprano and Kevin Roitero and David La Barbera and Davide Ceolin and Damiano Spina and Stefano Mizzaro and Gianluca Demartini},
journal= {arXiv preprint arXiv:2108.01222},
year = {2021}
}
备注
33 pages; Paper accepted at Information Processing & Management on July 28, 2021; IP&M Special Issue on Dis/Misinformation Mining from Social Media