自适应饱和 RNN：以更低不稳定性记住更多
机器学习
2023-04-25 v1
摘要
正交参数化是循环神经网络(RNNs)中梯度消失问题(VGP)的一种引人注目的解决方案。借助正交参数与非饱和激活函数，此类模型中的梯度被约束为单位范数。另一方面，尽管传统 vanilla RNN 具有更高记忆容量，却受 VGP 困扰且在许多应用中表现糟糕。本工作提出自适应饱和 RNNs (asRNN)，一种在 aforementioned 两种方法间动态调整其饱和程度的变体。因此，asRNN 兼具 vanilla RNN 的容量与正交 RNN 的训练稳定性。我们的实验在与若干强竞争对手比较时，在具挑战性的序列学习基准上展示了 asRNN 令人鼓舞的结果。研究代码见 https://github.com/ndminhkhoi46/asRNN/。
引用
@article{arxiv.2304.11790,
title = {Adaptive-saturated RNN: Remember more with less instability},
author = {Khoi Minh Nguyen-Duy and Quang Pham and Binh T. Nguyen},
journal= {arXiv preprint arXiv:2304.11790},
year = {2023}
}
备注
8 pages, 2 figures, 5 tables, ICLR 2023 Tiny Paper Track