针对事实抽取与验证的对抗攻击
计算与语言
2019-03-14 v1 人工智能
摘要
本文描述了第二届事实抽取与验证共享任务（FEVER2.0）的基线，该任务通过对抗评估探究系统的鲁棒性。我们提出了一组针对参与首届 FEVER 共享任务的系统的简单对抗攻击。FEVER 将书面声明的真实性评估建模为利用来自 Wikipedia 的证据进行的联合信息检索与自然语言推理任务。大量参与者在其共享任务提交中使用了深度神经网络。此类模型是否在真正理解语言，已成为近期文献中诸多研究与讨论的主题。在本文中，我们提出了一种通过训练数据中常见模式生成保持蕴含与改变蕴含的实例扰动的方法。我们发现若干系统的分类准确率在新扰动实例上出现了高达 的绝对下降。利用这些新生成的实例，我们构建了 FEVER2.0 共享任务的一个示例提交。应对此类攻击将有助于构建更鲁棒的事实核查模型，并为扩展数据集指明方向。
引用
@article{arxiv.1903.05543,
title = {Adversarial attacks against Fact Extraction and VERification},
author = {James Thorne and Andreas Vlachos},
journal= {arXiv preprint arXiv:1903.05543},
year = {2019}
}
备注
Work in progress