以简单 RNN 实现 LSTM 的在线回归性能

N. Mert Vural; Fatih Ilhan; Selim F. Yilmaz; Salih Ergüt; Suleyman S. Kozat

以简单 RNN 实现 LSTM 的在线回归性能

机器学习 2021-06-01 v2 机器学习

作者: N. Mert Vural , Fatih Ilhan , Selim F. Yilmaz , Salih Ergüt , Suleyman S. Kozat

摘要

循环神经网络（RNN）因其泛化非线性时间依赖关系的能力而被广泛用于在线回归。作为一类 RNN 模型，长短期记忆网络（LSTM）在实践中更受青睐，因其能够学习长期依赖并避免梯度消失问题。然而，由于其参数量大，训练 LSTM 相较于简单 RNN（SRNN）需要显著更长的训练时间。本文中，我们高效地以 SRNN 实现了 LSTM 的在线回归性能。为此，我们引入一种在参数量上具有线性时间复杂度的首阶训练算法。我们表明，当 SRNN 用我们的算法训练时，它们以两到三倍更短的训练时间提供了与 LSTM 非常相近的回归性能。我们通过对算法收敛率提供 regret 界，给出强有力的理论分析以支撑实验结果。通过大量实验，我们验证了理论工作，并展示了我们的算法相对于 LSTM 及其他最先进学习模型的显著性能提升。

关键词

在线回归循环神经网络 LSTM 简单 RNN 首阶训练 regret 界

引用

@article{arxiv.2005.08948,
  title  = {Achieving Online Regression Performance of LSTMs with Simple RNNs},
  author = {N. Mert Vural and Fatih Ilhan and Selim F. Yilmaz and Salih Ergüt and Suleyman S. Kozat},
  journal= {arXiv preprint arXiv:2005.08948},
  year   = {2021}
}

备注

arXiv admin note: substantial text overlap with arXiv:2003.03601

以简单 RNN 实现 LSTM 的在线回归性能

摘要

关键词

引用

备注

相关论文