基于缩放 Cayley 变换的正交递归神经网络
机器学习
2018-06-20 v3 机器学习
摘要
递归神经网络（RNNs）旨在处理序列数据，但存在梯度消失或爆炸的问题。近期关于酉递归神经网络（uRNNs）的工作已被用于解决此问题，并在某些情况下超越了长短期记忆网络（LSTMs）的能力。我们提出一种更简单且新颖的更新方案，以在不使用复值矩阵的情况下维持正交递归权重矩阵。这是通过使用 Cayley 变换以反对称矩阵进行参数化来实现的。这种参数化无法表示具有负一特征值的矩阵，但通过用一个由 1 和 -1 组成的对角矩阵缩放递归权重矩阵，可以克服这一限制。所提出的训练方案涉及直接的梯度计算和更新步骤。在若干实验中，所提出的缩放 Cayley 正交递归神经网络（scoRNN）以更少的可训练参数取得了优于其他酉 RNN 的结果。
引用
@article{arxiv.1707.09520,
title = {Orthogonal Recurrent Neural Networks with Scaled Cayley Transform},
author = {Kyle Helfrich and Devin Willmott and Qiang Ye},
journal= {arXiv preprint arXiv:1707.09520},
year = {2018}
}
备注
12 pages