使用双向 LSTM 模型与内部注意力学习自然语言推理
计算与语言
2016-05-31 v1
摘要
在本文中，我们提出了一种基于句子编码的模型用于识别文本蕴含。在我们的方法中，句子的编码是一个两阶段过程。首先，在词级双向 LSTM (biLSTM) 上使用平均池化生成第一阶段的句子表示。其次，采用注意力机制替代相同句子上的平均池化以获得更好的表示。我们没有使用目标句子来关注源句子中的词，而是利用句子的第一阶段表示来关注其自身出现的词，这在我们的论文中被称为“内部注意力 (Inner-Attention)”。在斯坦福自然语言推理 (SNLI) 语料库上进行的实验证明了“内部注意力”机制的有效性。在参数量更少的情况下，我们的模型大幅优于现有的最佳基于句子编码的方法。
引用
@article{arxiv.1605.09090,
title = {Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention},
author = {Yang Liu and Chengjie Sun and Lei Lin and Xiaolong Wang},
journal= {arXiv preprint arXiv:1605.09090},
year = {2016}
}