长短期记忆网络作为一种动态计算的逐元素加权和
计算与语言
2018-05-11 v1 人工智能
机器学习
机器学习
摘要
LSTM 的提出旨在通过门控加性循环连接来增强简单 RNN，从而缓解梯度消失问题。我们提出了一种替代视角来解释 LSTM 的成功：门本身是多功能的循环模型，其提供的表征能力超出以往的认识。为此，我们将 LSTM 的门与内嵌的简单 RNN 解耦，产生了一类新的 RNN，其中循环计算对输入的无上下文函数进行逐元素加权和。在一系列问题上的消融实验表明，仅门控机制在大多数设置下的表现与 LSTM 一样好，这强烈暗示门在实践中所起的作用远不止缓解梯度消失。
引用
@article{arxiv.1805.03716,
title = {Long Short-Term Memory as a Dynamically Computed Element-wise Weighted Sum},
author = {Omer Levy and Kenton Lee and Nicholas FitzGerald and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:1805.03716},
year = {2018}
}
备注
ACL 2018