自然语言推理系统的对抗性分析

像 SNLI 和 MNLI 这样的大型自然语言推理（NLI）数据集的发布，推动了完全神经化系统在该任务上的快速发展和提升。最近，像 BERT 和 MT-DNN 这样重度预训练的、基于 Transformer 的模型在这些数据集上已接近人类水平。然而，这些标准数据集已被证明包含许多标注伪迹，使模型能利用简单的易错启发式方法走捷径理解，并在测试集上仍表现良好。因此，许多导致在标准数据集上训练的模型严重失败的对抗性（挑战）数据集被创建也就不足为奇。尽管在此类数据上的额外训练通常能提升模型仅在该类数据上的表现，但将所学迁移至未见示例至多仍是部分的。本工作评估了最先进模型在测试不同语言现象的现有对抗性数据集上的失败情况，发现即便模型在 MNLI 上表现相似，它们对这些攻击的鲁棒性却差异巨大。特别地，我们发现与句法相关的攻击在所有模型上都特别有效，因此我们提供了对这些示例上模型表现的细粒度分析与比较。我们关于模型规模和多任务学习的价值（超越比较其标准测试集表现）得出结论，并为更有效的训练数据提供建议。