深度门控LSTM
神经与进化计算
2015-08-26 v4 计算与语言
摘要
在本短文中，我们提出了长短期记忆（LSTM）神经网络的扩展，使用深度门连接相邻层的记忆单元。这样做在上下层循环单元之间引入了线性依赖。重要的是，该线性依赖通过我们称为深度门的门控函数进行门控。该门是下层记忆单元、本层输入以及本层过去记忆单元的函数。我们进行了实验并验证这种LSTM的新架构能够改善机器翻译和语言建模性能。
引用
@article{arxiv.1508.03790,
title = {Depth-Gated LSTM},
author = {Kaisheng Yao and Trevor Cohn and Katerina Vylomova and Kevin Duh and Chris Dyer},
journal= {arXiv preprint arXiv:1508.03790},
year = {2015}
}
备注
Content presented in 2015 Jelinek Summer Workshop on Speech and Language Technology on August 14th 2015