一种用于基于转移的依存句法分析的简单 LSTM 模型
计算与语言
2017-09-12 v2
摘要
我们提出了一种简单的基于 LSTM 的转移依存句法分析器。我们的模型由单个 LSTM 隐藏层组成，取代了常规前馈网络架构中的隐藏层。我们还提出了一种新的初始化方法，利用前馈神经网络的预训练权重来初始化我们的基于 LSTM 的模型。我们还表明，在输入层使用 dropout 对性能有积极影响。我们的最终分析器在 Penn Treebank 上达到了 93.06% 的无标记依附得分和 91.01% 的有标记依附得分。此外，我们在模型中用 GRU 和 Elman 单元替换了 LSTM，并探讨了我们初始化方法对构成所有三种 RNN 单元的各个门的有效性。
引用
@article{arxiv.1708.08959,
title = {A Simple LSTM model for Transition-based Dependency Parsing},
author = {Mohab Elkaref and Bernd Bohnet},
journal= {arXiv preprint arXiv:1708.08959},
year = {2017}
}