无循环反馈的前馈序列记忆神经网络
神经与进化计算
2016-01-07 v1 计算与语言
机器学习
摘要
我们引入了一种记忆神经网络的新结构，称为前馈序列记忆网络（FSMN），它无需使用循环反馈即可学习长期依赖。所提出的FSMN是一种标准的前馈神经网络，在隐藏层配备了可学习的序列记忆块。在这项工作中，我们将FSMN应用于若干语言建模（LM）任务。实验结果表明，FSMN中的记忆块可以学习长历史的有效表示。实验显示，基于FSMN的语言模型不仅显著优于基于前馈神经网络（FNN）的语言模型，也显著优于流行的循环神经网络（RNN）语言模型。
引用
@article{arxiv.1510.02693,
title = {Feedforward Sequential Memory Neural Networks without Recurrent Feedback},
author = {ShiLiang Zhang and Hui Jiang and Si Wei and LiRong Dai},
journal= {arXiv preprint arXiv:1510.02693},
year = {2016}
}
备注
4 pages, 1figure