LSTM 与 GRU 网络学习符号序列的比较
机器学习
2023-11-17 v3 神经与进化计算
摘要
我们通过研究循环神经网络（RNNs）能够记忆的字符串序列的复杂度来探索其架构。生成不同复杂度的符号序列以模拟 RNN 训练，并研究参数配置，旨在考察网络的学习与推断能力。我们比较了长短期记忆（LSTM）网络与门控循环单元（GRUs）。我们发现，在训练时间受限时，增加 RNN 深度未必带来更好的记忆能力。我们的结果还表明，学习率与每层单元数是最重要的待调超参数。一般而言，GRUs 在低复杂度序列上优于 LSTM 网络，而在高复杂度序列上 LSTMs 表现更好。
引用
@article{arxiv.2107.02248,
title = {A comparison of LSTM and GRU networks for learning symbolic sequences},
author = {Roberto Cahuantzi and Xinye Chen and Stefan Güttel},
journal= {arXiv preprint arXiv:2107.02248},
year = {2023}
}