网格长短期记忆网络
神经与进化计算
2016-01-08 v3 计算与语言
机器学习
摘要
本文介绍了网格长短期记忆网络（Grid LSTM），这是一种将LSTM单元排列成多维网格的网络，可应用于向量、序列或更高维数据（如图像）。该网络与现有深层LSTM架构的不同之处在于，其单元不仅在网络层之间连接，还沿着数据的时空维度连接。该网络为深度计算和序列计算提供了一种统一的LSTM使用方式。我们将该模型应用于算法任务，如15位整数加法和序列记忆，在这些任务中，它能够显著优于标准LSTM。随后，我们给出了两项实证任务的结果。我们发现，二维网格LSTM在维基百科字符预测基准上达到了每字符1.47比特，这在神经方法中属于当前最优水平。此外，我们利用网格LSTM定义了一种新颖的二维翻译模型——重编码器（Reencoder），并展示了其在中译英翻译任务上优于基于短语的参考系统。
引用
@article{arxiv.1507.01526,
title = {Grid Long Short-Term Memory},
author = {Nal Kalchbrenner and Ivo Danihelka and Alex Graves},
journal= {arXiv preprint arXiv:1507.01526},
year = {2016}
}
备注
15 pages