循环记忆阵列结构
机器学习
2016-10-25 v3 神经与进化计算
摘要
以下报告介绍了通过为每个隐藏单元增加多个记忆单元来增强标准长短期记忆 (Long Short Term Memory, LSTM) 架构的思想，以改善其泛化能力。它考虑了记忆操作的确定性和随机性变体。研究表明，非确定性阵列-LSTM (Array-LSTM) 方法在字符级文本预测上提升了最先进性能，在 enwik8 数据集上达到 1.402 BPC。此外，该报告分别针对 enwik9 和 enwik10 数据集建立了基于神经网络的基线结果 1.12 BPC 和 1.19 BPC。
引用
@article{arxiv.1607.03085,
title = {Recurrent Memory Array Structures},
author = {Kamil Rocki},
journal= {arXiv preprint arXiv:1607.03085},
year = {2016}
}
备注
Minor changes