DizzyRNN：通过重参数化循环神经网络实现保范反向传播
机器学习
2016-12-14 v1
摘要
梯度消失与梯度爆炸是已被充分研究的障碍，它们使得循环神经网络难以学习长期时间依赖性。我们提出了一种对标准循环神经网络的重参数化方法，通过 Givens 旋转以可证明保范的方式更新线性变换。此外，我们使用绝对值函数作为逐元素非线性，以在整个网络中保持反向传播信号范数不变。我们表明，这种重参数化减少了参数数量，并保持与标准循环神经网络相同的算法复杂度，同时在复制问题上优于具有正交初始化的标准循环神经网络和长短期记忆网络。
引用
@article{arxiv.1612.04035,
title = {DizzyRNN: Reparameterizing Recurrent Neural Networks for Norm-Preserving Backpropagation},
author = {Victor Dorobantu and Per Andre Stromhaug and Jess Renteria},
journal= {arXiv preprint arXiv:1612.04035},
year = {2016}
}