循环高速公路网络
机器学习
2017-07-06 v5 计算与语言
神经与进化计算
摘要
许多序列处理任务需要从一个步骤到下一个步骤的复杂非线性转移函数。然而，具有“深层”转移函数的循环神经网络仍然难以训练，即使在使用长短期记忆（LSTM）网络时也是如此。我们基于 Gersgorin 圆定理引入了一种针对循环网络的新的理论分析，阐明了若干建模与优化问题，并加深了我们对 LSTM 单元的理解。基于此分析，我们提出了循环高速公路网络（Recurrent Highway Networks），它扩展了 LSTM 架构以允许大于一的逐步转移深度。多项语言建模实验表明，所提出的架构能产生强大且高效的模型。在 Penn Treebank 语料库上，在参数数量相同的情况下，仅将转移深度从 1 增加到 10 即可将词级困惑度从 90.6 降至 65.4。在用于字符预测的更大规模 Wikipedia 数据集（text8 和 enwik8）上，RHNs 优于所有先前结果，并实现了每字符 1.27 比特的熵。
引用
@article{arxiv.1607.03474,
title = {Recurrent Highway Networks},
author = {Julian Georg Zilly and Rupesh Kumar Srivastava and Jan Koutník and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:1607.03474},
year = {2017}
}
备注
12 pages, 6 figures, 3 tables