论扩展长短期记忆与依赖双向循环神经网络
机器学习
2019-11-19 v5 计算与语言
神经与进化计算
机器学习
摘要
本工作中，我们首先分析了三种循环神经网络（RNN）单元的记忆行为；即简单 RNN（SRN）、长短期记忆（LSTM）与门控循环单元（GRU），其中记忆被定义为将序列中先前元素映射到当前输出的函数。我们的研究表明三者均存在快速的记忆衰减。继而，为缓解该效应，我们引入可训练的缩放因子，其如同注意力机制般自适应调整记忆衰减。新设计称为扩展 LSTM（ELSTM）。最后，为设计对先前错误预测具有鲁棒性的系统，我们提出依赖双向循环神经网络（DBRNN）。我们在不同语言任务上进行了大量实验以证明所提 ELSTM 与 DBRNN 方案的优越性。在依存句法分析（DP）任务中，相较于 LSTM 与 GRU，ELSTM 在带标签依附分数（LAS）上实现了高达 30% 的提升。我们的模型在 LAS 上也以近 10% 的优势超越其他最先进（state-of-the-art）模型，如双注意力与卷积序列到序列（convseq2seq）。代码已开源发布（https://github.com/yuanhangsu/ELSTM-DBRNN）。
引用
@article{arxiv.1803.01686,
title = {On Extended Long Short-term Memory and Dependent Bidirectional Recurrent Neural Network},
author = {Yuanhang Su and C. -C. Jay Kuo},
journal= {arXiv preprint arXiv:1803.01686},
year = {2019}
}
备注
github repo: https://github.com/yuanhangsu/ELSTM-DBRNN