神经阅读理解中的欠敏感性
计算与语言
2020-03-11 v1 机器学习
机器学习
摘要
当前的阅读理解模型在分布内测试集上泛化良好，但在对抗性筛选的输入上表现很差。大多数关于对抗性输入的先前研究关注过敏感性：即语义不变的文本扰动导致模型在不该改变预测时改变了预测。在本文中，我们关注互补的问题：过度的预测欠敏感性，即输入文本发生了有意义的变化，但模型的预测却没有变化，尽管它本应变化。我们构建了一种噪声对抗攻击，在问题的语义变体中搜索模型错误预测相同答案且概率甚至更高的情形。尽管包含不可回答问题，SQuAD2.0 和 NewsQA 模型均易受此攻击。这表明尽管准确，模型倾向于依赖虚假模式，并未充分考虑问题中指定的信息。我们尝试用数据增强和对抗训练作为防御，发现二者都大幅降低了对留出数据及留出攻击空间的攻击脆弱性。解决欠敏感性也改进了在 AddSent 和 AddOneSent 上的结果，并且模型在面临训练/评估分布不匹配时泛化更好：它们较少过度依赖仅存在于训练集中的预测线索，并以高达 10.9% F1 的优势优于常规模型。
引用
@article{arxiv.2003.04808,
title = {Undersensitivity in Neural Reading Comprehension},
author = {Johannes Welbl and Pasquale Minervini and Max Bartolo and Pontus Stenetorp and Sebastian Riedel},
journal= {arXiv preprint arXiv:2003.04808},
year = {2020}
}
备注
15 pages, 4 figures