初始化整流线性单元循环网络的一种简单方法
神经与进化计算
2015-04-09 v2 机器学习
摘要
由于梯度消失和梯度爆炸，在循环网络中学习长期依赖是困难的。为克服此困难，研究者已开发了复杂的优化技术和网络架构。在本文中，我们提出了一种更简单的解决方案，即使用由整流线性单元组成的循环神经网络。我们解决方案的关键在于使用单位矩阵或其缩放版本来初始化循环权重矩阵。我们发现，在四个基准测试上，我们的解决方案可与LSTM相媲美：两个涉及长距离时间结构的玩具问题、一个大规模语言建模问题以及一个基准语音识别问题。
引用
@article{arxiv.1504.00941,
title = {A Simple Way to Initialize Recurrent Networks of Rectified Linear Units},
author = {Quoc V. Le and Navdeep Jaitly and Geoffrey E. Hinton},
journal= {arXiv preprint arXiv:1504.00941},
year = {2015}
}