反证证据的缺失使 NLP 事实核查对 misinformation 不具现实可行性
计算与语言
2022-10-26 v1
摘要
misinformation（虚假信息）在不确定性时期、可信信息有限时涌现。这对基于 NLP 的事实核查构成挑战，因其依赖反证证据，而此类证据可能尚不可用。尽管自动事实核查日益受到关注，自动方法能否切实驳斥有害的现实世界 misinformation 仍不明确。在此，我们对比并比较 NLP 事实核查与专业事实核查员在缺乏反证证据时如何应对 misinformation。在分析中，我们表明，按设计，现有的 NLP 事实核查任务定义无法像专业事实核查员那样对大多数声明进行驳斥。我们随后定义了数据集中证据必须满足的现实可行事实核查两项要求：必须（1）足以驳斥该声明，且（2）未从现有事实核查文章泄漏。我们调研现有事实核查数据集，发现无一满足这两项标准。最后，我们开展实验证明，在大规模事实核查数据集上训练的模型依赖泄漏的证据，使其在现实场景中不适用。综上，我们表明当前 NLP 事实核查无法切实应对现实世界 misinformation，因其对数据中反证证据抱有不合现实的假设。
引用
@article{arxiv.2210.13865,
title = {Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation},
author = {Max Glockner and Yufang Hou and Iryna Gurevych},
journal= {arXiv preprint arXiv:2210.13865},
year = {2022}
}
备注
EMNLP 2022