证据不足情形下的事实核查
计算与语言
2022-04-06 v1 机器学习
摘要
事实核查（FC）流程的自动化依赖于从外部来源获取的信息。本工作中，我们主张 FC 模型仅在证据充分时才做出真实性预测，否则应指明证据不足。为此，我们首次通过引入一项新任务并作出三项主要贡献来研究 FC 模型认为何种信息充分。首先，我们采用一种在成分与句子层面保留流畅性地省略证据信息的新方法，对该任务进行深度实证分析。基于三种不同 Transformer 架构的训练模型与三个 FC 数据集，我们确定了模型何时认为剩余证据对 FC（不）充分。其次，我们请标注者判断被省略的证据对 FC 是否重要，由此构建了用于证据省略 FC 的新诊断数据集 SufficientFacts。我们发现，当省略状语修饰语时模型检测缺失证据的表现最差（准确率 21%），而省略日期修饰语时最易（准确率 63%）。最后，我们提出一种利用所提省略方法与三训练（tri-training）结合的对比自学习缺失证据的新数据增强策略。它将证据充分性预测的性能提升至多 17.8 F1 分数，进而将 FC 性能提升至多 2.6 F1 分数。
引用
@article{arxiv.2204.02007,
title = {Fact Checking with Insufficient Evidence},
author = {Pepa Atanasova and Jakob Grue Simonsen and Christina Lioma and Isabelle Augenstein},
journal= {arXiv preprint arXiv:2204.02007},
year = {2022}
}
备注
14 pages