深度门控循环神经网络
神经与进化计算
2016-05-16 v3
摘要
本文介绍两种称为简单门控单元(Simple Gated Unit, SGU)和深度简单门控单元(Deep Simple Gated Unit, DSGU)的循环神经网络结构，它们是用于学习长期依赖关系的通用结构。与传统长短期记忆(Long Short-Term Memory, LSTM)和门控循环单元(Gated Recurrent Unit, GRU)相比，这两种结构在序列分类任务中需要更少的参数和更短的计算时间。与需要多个门来控制网络中信息流的GRU和LSTM不同，SGU和DSGU仅使用一个乘法门来控制信息流。我们展示这一差异能加速在需要长期依赖信息的任务中的学习速度。我们还展示DSGU比SGU数值上更稳定。此外，我们还提出了一种表示RNN内部结构的标准方法，称为RNN常规图(RNN Conventional Graph, RCG)，有助于分析RNN输入单元与隐藏单元之间的关系。
引用
@article{arxiv.1604.02910,
title = {Deep Gate Recurrent Neural Network},
author = {Yuan Gao and Dorota Glowacka},
journal= {arXiv preprint arXiv:1604.02910},
year = {2016}
}
备注
This paper has been withdrawn by the author due to lacking of enough experiments