前馈序列记忆网络：一种学习长期依赖的新结构
神经与进化计算
2016-01-06 v2
摘要
本文提出一种新颖的神经网络结构，即前馈序列记忆网络(feedforward sequential memory networks, FSMN)，用于在不使用循环反馈的情况下对时间序列中的长期依赖建模。所提出的FSMN是一种标准全连接前馈神经网络，在其隐藏层中配备了若干可学习的记忆块。这些记忆块采用抽头延迟线结构将长上下文信息编码为固定大小的表示，作为短期记忆机制。我们在包括语音识别和语言建模在内的几个标准基准任务上评估了所提出的FSMN。实验结果表明，在建模语音或语言等序列信号方面，FSMN显著优于传统的循环神经网络(recurrent neural networks, RNN)（包括LSTM）。此外，由于固有的非循环模型结构，FSMN比RNN或LSTM学习得更可靠且更快。
引用
@article{arxiv.1512.08301,
title = {Feedforward Sequential Memory Networks: A New Structure to Learn Long-term Dependency},
author = {Shiliang Zhang and Cong Liu and Hui Jiang and Si Wei and Lirong Dai and Yu Hu},
journal= {arXiv preprint arXiv:1512.08301},
year = {2016}
}
备注
11 pages, 5 figures