提升具有ReLU非线性的循环神经网络性能
神经与进化计算
2016-06-24 v3 机器学习
摘要
近年来，在成功训练循环神经网络（RNNs）处理涉及长程时间依赖的序列学习问题方面取得了显著进展。进展来自三个方面：(a) 涉及复杂优化技术的算法改进，(b) 涉及复杂隐藏层节点和专用循环层连接的网络设计，以及 (c) 权重初始化方法。本文关注最近提出的在RNN中对循环权重使用单位矩阵进行权重初始化的方法。该初始化专门针对具有修正线性单元（ReLU）非线性的隐藏节点提出。我们提供关于权重初始化过程的简单动力系统视角，使我们能提出改进的权重初始化策略。我们表明该初始化技术可成功训练由ReLUs组成的RNN。我们证明我们的方案在三个涉及长程时间结构的玩具问题上产生可比或更好的解：加法问题、乘法问题以及使用像素序列的MNIST分类问题。此外，我们给出了一个基准动作识别问题的结果。
引用
@article{arxiv.1511.03771,
title = {Improving performance of recurrent neural network with relu nonlinearity},
author = {Sachin S. Talathi and Aniket Vartak},
journal= {arXiv preprint arXiv:1511.03771},
year = {2016}
}
备注
10 pages 6 figures; under consideration for publication with ICLR 2016