基于自编码器初始化的循环神经网络短期记忆优化
机器学习
2020-11-06 v1
摘要
由于梯度消失，训练RNN学习长期依赖是困难的。我们探索了一种基于显式记忆的替代方案，使用序列线性自编码器，可最大化短期记忆且无需反向传播即可用闭式解求解。我们引入了一种初始化方案，预训练循环神经网络的权重以逼近输入序列的线性自编码器，并展示了这种预训练如何更好地支持解决具有长序列的困难分类任务。我们在序列和置换MNIST上测试了该方法。结果表明，所提方法对长序列实现了更低的重建误差，并在微调阶段具有更好的梯度传播。
引用
@article{arxiv.2011.02886,
title = {Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization},
author = {Antonio Carta and Alessandro Sperduti and Davide Bacciu},
journal= {arXiv preprint arXiv:2011.02886},
year = {2020}
}
备注
Accepted at NeurIPS 2020 workshop "Beyond Backpropagation: Novel Ideas for Training Neural Architectures"