使用后缀双向 LSTM 改进句子建模
机器学习
2018-09-12 v2 人工智能
计算与语言
机器学习
摘要
循环神经网络在计算序列数据（尤其是自然语言处理中的文本数据）的表示中已无处不在。特别地，双向 LSTM 是若干在 NLP 广泛任务中取得最先进性能的神经模型的核心。然而，已知 BiLSTM 存在顺序偏置——一个词元的上下文表示深受句中邻近词元的影响。我们提出一种对 BiLSTM 模型的通用且有效的改进，其以正向与反向两个方向对每个词元序列的后缀与前缀进行编码。我们称该模型为后缀双向 LSTM 或 SuBiLSTM。这引入了一种偏好长程依赖的替代偏置。我们将 SuBiLSTM 应用于若干需要句子建模的任务。我们证明，在现有模型中使用 SuBiLSTM 替代 BiLSTM 可在学习通用句子表示、文本分类、文本蕴含和复述检测方面带来性能提升。使用 SuBiLSTM，我们在细粒度情感分类和问题分类上取得了新的最先进结果。
引用
@article{arxiv.1805.07340,
title = {Improved Sentence Modeling using Suffix Bidirectional LSTM},
author = {Siddhartha Brahma},
journal= {arXiv preprint arXiv:1805.07340},
year = {2018}
}