循环神经网络（RNN）与长短期记忆（LSTM）网络基础

Alex Sherstinsky

doi:10.1016/j.physd.2019.132306

循环神经网络（RNN）与长短期记忆（LSTM）网络基础

机器学习 2023-08-01 v9 机器学习

作者: Alex Sherstinsky

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

因其在广泛实际应用中的有效性，LSTM 网络在科学期刊、技术博客和实现指南中获得了大量关注。然而，在大多数文章中，LSTM 网络及其母体 RNN 的推断公式被公理化地陈述，而训练公式则被完全省略。此外，RNN“展开”的技术在文献中一贯未经论证地呈现。本文的目标是在单一文档中解释基本的 RNN 和 LSTM 原理。我们从信号处理概念出发，由微分方程形式化推导规范的 RNN 公式。然后我们提出并证明一个精确陈述，由此得到 RNN 展开技术。我们还回顾了训练标准 RNN 的困难，并通过一系列逻辑论证将 RNN 转化为“Vanilla LSTM”网络加以解决。我们提供了与 LSTM 系统相关的所有方程及其组成实体的详细描述。尽管非传统，我们选择的符号和呈现 LSTM 系统的方法强调易于理解。作为分析的一部分，我们识别出丰富 LSTM 系统的新机会，并将这些扩展整合进 Vanilla LSTM 网络，产生了迄今为止最通用的 LSTM 变体。目标读者已通过大量可用资源接触过 RNN 和 LSTM 网络，并愿意接受另一种教学方式。寻求在软件中实现我们新的增强 LSTM 模型以进行实验和研究的机器学习（Machine Learning）从业者，也会发现本教程中的见解与推导很有价值。

关键词

循环神经网络长短期记忆 RNN 展开 Vanilla LSTM 模型推导机器学习

引用

@article{arxiv.1808.03314,
  title  = {Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) Network},
  author = {Alex Sherstinsky},
  journal= {arXiv preprint arXiv:1808.03314},
  year   = {2023}
}

备注

43 pages, 10 figures, 78 references

循环神经网络（RNN）与长短期记忆（LSTM）网络基础

摘要

关键词

引用

备注

相关论文