基于网络检索证据的真实世界复杂声明核查
计算与语言
2024-06-18 v2
摘要
证据检索是自动事实核查的核心环节。已有研究在检索中做出了脱离真实应用场景的简化假设:要么无法获取证据,要么只能获取由人工事实核查员整理的证据,要么只能在声明提出很久之后才获得证据。本文提出首个全自动流水线,通过从网络检索原始证据来核查真实世界中的声明。我们将检索器限制为仅搜索声明提出之前可用的文档,以建模新兴声明需要被核查这一现实场景。我们的流水线包含五个组件:声明分解、原始文档检索、细粒度证据检索、面向声明的摘要生成,以及真实性判断。我们在 ClaimDecomp 数据集的复杂政治声明上开展实验,表明本流水线聚合出的证据可改善真实性判断。人工评估发现,本系统生成的证据摘要可靠(不产生幻觉信息)且与回答声明关键问题相关,这意味着即便在无法提供完整证据集时,它也能辅助事实核查员。
引用
@article{arxiv.2305.11859,
title = {Complex Claim Verification with Evidence Retrieved in the Wild},
author = {Jifan Chen and Grace Kim and Aniruddh Sriram and Greg Durrett and Eunsol Choi},
journal= {arXiv preprint arXiv:2305.11859},
year = {2024}
}
备注
NAACL 2024