基于缩放 Cayley 变换的复酉循环神经网络
机器学习
2019-02-26 v2 机器学习
摘要
循环神经网络（RNNs）已成功用于广泛的序列数据问题。使用 RNN 的一个众所周知的困难是\textit{梯度消失或爆炸}问题。最近，已有若干不同 RNN 架构试图通过保持正交或酉循环权重矩阵来缓解此问题。其中一种架构是缩放 Cayley 正交循环神经网络（scoRNN），其通过缩放 Cayley 变换参数化正交循环权重矩阵。该参数化包含一个由正或负一元素组成的对角缩放矩阵，无法通过梯度下降优化。因此缩放矩阵在训练前固定，并引入超参数为每个特定任务调整矩阵。本文中，我们基于复缩放 Cayley 变换发展了酉 RNN 架构。与实正交情形不同，该变换使用由复单位圆上元素组成的对角缩放矩阵，可通过梯度下降优化，不再需要调优超参数。我们还分析了用于本工作及若干其他酉 RNN 的 modReLU 激活函数的一个潜在问题。在进行的实验中，缩放 Cayley 酉循环神经网络（scuRNN）在不固定缩放矩阵的情况下取得了与 scoRNN 及其他酉 RNN 相当或更好的结果。
引用
@article{arxiv.1811.04142,
title = {Complex Unitary Recurrent Neural Networks using Scaled Cayley Transform},
author = {Kehelwala D. G. Maduranga and Kyle E. Helfrich and Qiang Ye},
journal= {arXiv preprint arXiv:1811.04142},
year = {2019}
}