AVeriTeC:一个基于网络证据的真实世界声明核查数据集
计算与语言
2023-11-09 v3
摘要
现有自动化事实核查数据集存在显著局限,如依赖人工构造声明、缺乏证据与中间推理标注,或包含声明发布之后的证据。本文引入 AVeriTeC,一个包含 4,568 条真实世界声明的新数据集,涵盖 50 个不同组织的 fact-check。每条声明标注有由在线可用证据支持的问答对,以及解释证据如何结合得出判定的文本依据。通过多轮标注流程,我们避免了上下文依赖、证据不足与时间泄漏等常见陷阱,并在判定上达到 的显著标注者间一致性。我们开发了基线系统及一种通过对开放网络进行若干问答步骤来核查声明的评估方案。
引用
@article{arxiv.2305.13117,
title = {AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web},
author = {Michael Schlichtkrull and Zhijiang Guo and Andreas Vlachos},
journal= {arXiv preprint arXiv:2305.13117},
year = {2023}
}
备注
Accepted to NeurIPS 2023 Datasets & Benchmarks Track