MomentumRNN：将动量整合进循环神经网络
机器学习
2021-12-14 v2 动力系统
机器学习
摘要
设计深度神经网络是一门艺术，常涉及对候选架构的昂贵搜索。为克服循环神经网络（RNNs）的这一难点，我们建立了RNN中隐藏状态动力学与梯度下降（GD）之间的联系。随后我们将动量整合进该框架，并提出了一个称为{\em MomentumRNNs}的新RNN族。我们从理论上证明并在数值上展示了MomentumRNNs缓解了训练RNN中的梯度消失问题。我们研究了动量长短期记忆（MomentumLSTM），并在多种基准上验证其在收敛速度和精度上优于其LSTM对应模型。我们还展示了MomentumRNN可应用于多种类型的循环单元，包括最先进的正交RNN中的单元。最后，我们表明其他先进的基于动量的优化方法，如Adam和带重启的Nesterov加速梯度，可轻松纳入MomentumRNN框架以设计性能更优的新循环单元。代码见 https://github.com/minhtannguyen/MomentumRNN。
引用
@article{arxiv.2006.06919,
title = {MomentumRNN: Integrating Momentum into Recurrent Neural Networks},
author = {Tan M. Nguyen and Richard G. Baraniuk and Andrea L. Bertozzi and Stanley J. Osher and Bao Wang},
journal= {arXiv preprint arXiv:2006.06919},
year = {2021}
}
备注
21 pages, 11 figures, Accepted for publication at Advances in Neural Information Processing Systems (NeurIPS) 2020