面向去偏的事实核查模型研究
计算与语言
2019-09-04 v2
摘要
事实核查需要在证据背景下对声明进行验证。然而，我们表明，在流行的 FEVER 数据集中，情况未必如此。仅基于声明的分类器与顶尖的感知证据模型表现相当。本文调查了这一现象的成因，识别出仅基于声明而不考虑任何证据即可预测标签的强线索。我们创建了一个避免这些特殊性的评测集。在該测试集上评估时，FEVER 训练的模型性能显著下降。因此，我们引入了一种正则化方法，缓解了训练数据中偏置的影响，在新建测试集上取得改进。本工作是朝更合理评估事实核查模型推理能力迈出的一步。
引用
@article{arxiv.1908.05267,
title = {Towards Debiasing Fact Verification Models},
author = {Tal Schuster and Darsh J Shah and Yun Jie Serene Yeo and Daniel Filizzola and Enrico Santus and Regina Barzilay},
journal= {arXiv preprint arXiv:1908.05267},
year = {2019}
}
备注
EMNLP IJCNLP 2019