EX-FEVER:一个用于多跳可解释事实验证的数据集
人工智能
2024-06-17 v3
摘要
事实验证旨在基于若干证据片段自动探查断言的真实性。现有工作始终致力于准确率的提升,更不必说可解释性这一事实验证系统的关键能力。在复杂的多跳场景中构建可解释事实验证系统一直受限于相关高质量数据集的缺失。先前的数据集要么过于简化,要么未能纳入对可解释性的必要考量。为此,我们提出 EXFEVER,一个开创性的多跳可解释事实验证数据集。其包含超过 60,000 条涉及 2 跳与 3 跳推理的断言,每条均通过对超链接维基百科文档中的信息进行概括与修改而生成。每个实例附带一个真实性标签以及一条阐明支持该真实性分类的推理路径的解释。此外,我们在 EX-FEVER 数据集上展示了一个新颖的基线系统,涵盖文档检索、解释生成与断言验证,并验证了本数据集的重要性。进而,我们强调了在事实验证任务中利用大语言模型(Large Language Model, LLM)的潜力。我们希望本数据集能通过为探索自然语言解释在事实验证领域的融合提供充足机会而作出重要贡献。
引用
@article{arxiv.2310.09754,
title = {EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification},
author = {Huanhuan Ma and Weizhi Xu and Yifan Wei and Liuji Chen and Liang Wang and Qiang Liu and Shu Wu and Liang Wang},
journal= {arXiv preprint arXiv:2310.09754},
year = {2024}
}
备注
ACL 2024 findings paper