循环神经网络用于序列学习的批判性综述
机器学习
2015-10-20 v4 神经与进化计算
摘要
无数的学习任务需要处理序列数据。图像描述、语音合成与音乐生成都要求模型产生作为序列的输出。在其他领域，如时间序列预测、视频分析与音乐信息检索，模型必须从作为序列的输入中学习。交互式任务，例如自然语言翻译、参与对话以及控制机器人，往往同时需要这两种能力。循环神经网络（RNNs）是通过节点网络中的循环来捕捉序列动力学的连接主义模型。与标准前馈神经网络不同，循环网络保留一种状态，能够表示来自任意长上下文窗口的信息。尽管循环神经网络传统上难以训练，且常包含数百万参数，但网络架构、优化技术与并行计算的最新进展已使得利用它们进行成功的大规模学习成为可能。近年来，基于长短期记忆（LSTM）与双向（BRNN）架构的系统在诸如图像描述、语言翻译与手写识别等各异任务上展示了突破性的性能。在本综述中，我们回顾并综合了过去三十年来最初产生并随后使这些强大学习模型变得实用的研究。在适当之处，我们调和了冲突的符号与命名。我们的目标是提供一份自包含的最先进技术阐释，并附以历史视角与对原始研究的引用。
引用
@article{arxiv.1506.00019,
title = {A Critical Review of Recurrent Neural Networks for Sequence Learning},
author = {Zachary C. Lipton and John Berkowitz and Charles Elkan},
journal= {arXiv preprint arXiv:1506.00019},
year = {2015}
}