嵌套LSTM

Joel Ruben Antony Moniz; David Krueger

嵌套LSTM

计算与语言 2018-02-01 v1 机器学习

作者: Joel Ruben Antony Moniz , David Krueger

摘要

我们提出嵌套LSTM（NLSTM），一种具有多级记忆的新颖RNN架构。嵌套LSTM通过嵌套而非堆叠为LSTM增加深度。NLSTM中记忆单元的值由一个具有自身内部记忆单元的LSTM单元计算。具体而言，NLSTM记忆单元不使用 $c^{outer}_t = f_t \odot c_{t-1} + i_t \odot g_t$ 计算（外层）记忆单元的值，而是使用拼接 $(f_t \odot c_{t-1}, i_t \odot g_t)$ 作为内部LSTM（或NLSTM）记忆单元的输入，并令 $c^{outer}_t$ = $h^{inner}_t$ 。在各种字符级语言建模任务的实验中，参数量相近时，嵌套LSTM优于堆叠和单层LSTM，且LSTM的内部记忆相比堆叠LSTM的高层单元学习到更长期的依赖。

关键词

嵌套LSTM 循环神经网络记忆单元语言建模长期依赖深度架构

引用

@article{arxiv.1801.10308,
  title  = {Nested LSTMs},
  author = {Joel Ruben Antony Moniz and David Krueger},
  journal= {arXiv preprint arXiv:1801.10308},
  year   = {2018}
}

备注

Accepted at ACML 2017

嵌套LSTM

摘要

关键词

引用

备注

相关论文