用于鲁棒自然语言推理的知识增强注意力
计算与语言
2019-09-04 v1 密码学与安全
机器学习
机器学习
摘要
神经网络模型在自然语言推理(NLI)任务上取得高准确率已非常成功。然而, 如近期文献所示, 当在一些简单对抗样本上测试时, 大多数模型性能显著下降。这引发了对NLI模型鲁棒性的担忧。在本文中, 我们提出通过利用简单变换将外部知识融入注意力机制来使NLI模型鲁棒。我们将新注意力应用于两类流行的NLI模型: 一类是Transformer编码器, 另一类是分解式模型, 并表明我们的方法能显著提升其鲁棒性。此外, 当与BERT预训练结合时, 我们的方法在对抗SNLI数据集上达到人类水平性能。
引用
@article{arxiv.1909.00102,
title = {Knowledge Enhanced Attention for Robust Natural Language Inference},
author = {Alexander Hanbo Li and Abhinav Sethy},
journal= {arXiv preprint arXiv:1909.00102},
year = {2019}
}