获取你的维生素 C！基于对比证据的事实核查鲁棒性
计算与语言
2021-03-16 v1 信息检索
机器学习
摘要
典型的事实核查模型使用检索到的书面证据来验证声明。然而，证据来源常随时间变化，因为更多信息被收集与修订。为适应这种变化，模型必须对支持证据中的细微差异敏感。我们提出 VitaminC，一个注入挑战性案例的基准，要求事实核查模型辨别并适应轻微的事实变更。我们收集了超过 100,000 条修改底层事实的维基百科修订，并利用这些修订以及额外合成构造的修订，创建了总计超过 400,000 个声明-证据对。与以往资源不同，VitaminC 中的示例是对比性的，即它们包含语言和内容包括几乎相同、仅有一个支持给定声明而另一个不支持的证据对。我们表明，使用此设计进行训练可提升鲁棒性——在对抗性事实核查上准确率提高 10%，在对抗性自然语言推理（NLI）上提高 6%。此外，VitaminC 的结构引导我们为事实核查资源定义额外任务：标注证据中用于验证声明的相关词、识别事实修订，以及通过事实一致文本生成提供自动编辑。
引用
@article{arxiv.2103.08541,
title = {Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence},
author = {Tal Schuster and Adam Fisch and Regina Barzilay},
journal= {arXiv preprint arXiv:2103.08541},
year = {2021}
}
备注
NAACL 2021