AmbiFC:基于证据的事实核查模糊性声明
计算与语言
2023-12-15 v4 人工智能
摘要
自动化事实核查系统将声明与证据进行比对以预测其真实性。在真实场景中,检索到的证据可能并不能明确支持或反驳该声明,并产生相互冲突但有效的解释。现有的事实核查数据集假设基于它们开发的模型为每个声明预测单一的真实性标签,从而阻碍了对此类模糊性的处理。为解决该问题,我们提出 AmbiFC,一个包含 10k 条声明的事实核查数据集,这些声明源自真实世界的信息需求。它包含对来自 5k 个维基百科页面的 50k 段文本的细粒度证据标注。我们分析了在 AmbiFC 中将声明与证据比对时由模糊性引起的分歧,观察到标注者分歧与欠规范和概率推理等语言现象具有很强的相关性。我们开发了通过软标签处理该模糊性以预测真实性的模型,并发现一个学习句子级证据选择与真实性预测标签分布的流水线取得了最佳性能。我们比较了在 AmbiFC 不同子集上训练的模型,表明在模糊性实例上训练的模型在面对所识别的语言现象时表现更好。
引用
@article{arxiv.2104.00640,
title = {AmbiFC: Fact-Checking Ambiguous Claims with Evidence},
author = {Max Glockner and Ieva Staliūnaitė and James Thorne and Gisela Vallejo and Andreas Vlachos and Iryna Gurevych},
journal= {arXiv preprint arXiv:2104.00640},
year = {2023}
}
备注
Accepted at TACL; pre-MIT Press publication version