遗忘门的不合理有效性
神经与进化计算
2018-09-14 v3 机器学习
机器学习
摘要
鉴于门控循环单元的成功，一个自然的问题是长短期记忆（LSTM）网络的所有门是否都是必要的。先前的研究表明遗忘门是LSTM中最重要的门之一。本文我们展示了一种仅含遗忘门且采用时间初始化偏置的LSTM版本，不仅提供计算节省，而且在多个基准数据集上优于标准LSTM，并与一些最佳的当代模型相竞争。我们提出的网络JANET在MNIST和pMNIST数据集上分别达到99%和92.5%的准确率，优于准确率为98.5%和91%的标准LSTM。
引用
@article{arxiv.1804.04849,
title = {The unreasonable effectiveness of the forget gate},
author = {Jos van der Westhuizen and Joan Lasenby},
journal= {arXiv preprint arXiv:1804.04849},
year = {2018}
}
备注
Corrected LSTM gradient derivations. Added link to code