基于 Neumann-Cayley 变换的正交门控循环单元
机器学习
2022-08-16 v1
摘要
近年来，使用正交矩阵已被证明是改进循环神经网络（RNN）在训练、稳定性和收敛性（尤其是控制梯度）方面的一个有前景的方法。尽管门控循环单元（GRU）和长短期记忆（LSTM）架构通过使用多种门和记忆单元解决了梯度消失问题，但它们仍然容易出现梯度爆炸问题。在这项工作中，我们分析了 GRU 中的梯度，并提出使用正交矩阵来防止梯度爆炸问题并增强长期记忆。我们研究了在何处使用正交矩阵，并提出了一种基于 Neumann 级数的缩放 Cayley 变换用于在 GRU 中训练正交矩阵，我们称之为 Neumann-Cayley 正交 GRU，或简称为 NC-GRU。我们在多个合成和真实世界任务上对我们的模型进行了详细实验，结果表明 NC-GRU 显著优于 GRU 以及若干其他 RNN。
引用
@article{arxiv.2208.06496,
title = {Orthogonal Gated Recurrent Unit with Neumann-Cayley Transformation},
author = {Edison Mucllari and Vasily Zadorozhnyy and Cole Pospisil and Duc Nguyen and Qiang Ye},
journal= {arXiv preprint arXiv:2208.06496},
year = {2022}
}