门控并非 RNN 之所必需
机器学习
2023-11-23 v3 神经与进化计算
摘要
循环神经网络已在诸多领域蓬勃发展。因此，我们可以看到新的 RNN 单元不断被提出，通常是以新颖、独创的方式创建或使用门控。但如果我们告诉你 RNN 中的门控是冗余的呢？在本文中，我们提出一种称为残差循环单元（Residual Recurrent Unit, RRU）的新型循环单元，它优于传统单元且不使用任何门控。它基于残差捷径连接、线性变换、ReLU 和归一化。为评估我们单元的有效性，我们将其性能与广泛使用的 GRU 和 LSTM 单元以及近期提出的 Mogrifier LSTM 在多项任务上进行比较，包括复调音乐建模、语言建模和情感分析。我们的实验表明，RRU 在大多数这些任务上优于传统门控单元。此外，它对参数选择具有更好的鲁棒性，可在新任务中直接应用而无需大量调参。我们已在 TensorFlow 中实现了 RRU，代码发布于 https://github.com/LUMII-Syslab/RRU 。
引用
@article{arxiv.2108.00527,
title = {Gates Are Not What You Need in RNNs},
author = {Ronalds Zakovskis and Andis Draguns and Eliza Gaile and Emils Ozolins and Karlis Freivalds},
journal= {arXiv preprint arXiv:2108.00527},
year = {2023}
}
备注
Published in Artificial Intelligence and Soft Computing. ICAISC 2023. Lecture Notes in Computer Science(), vol 14125. Springer, Cham., and is available online at https://doi.org/10.1007/978-3-031-42505-9_27