LSTM 与 GRU 的动力学等距性及其平均场理论
机器学习
2019-05-27 v2 机器学习
摘要
在长序列任务上训练循环神经网络（RNN）时，信号在网络前向或反向传播过程中的指数级爆炸或消失会带来诸多困难。已有许多技术被提出以缓解这些问题，包括各种算法和架构上的改进。LSTM 和 GRU 是两种最成功的 RNN 架构，相较于原始 RNN 单元确有适度改善，但在极长序列上训练时仍会出现不稳定。本工作中，我们发展了 LSTM 和 GRU 中信号传播的平均场理论，由此能够计算信号传播的时间尺度以及状态到状态雅可比矩阵的光谱性质。通过在初始化超参数方面对这些量进行优化，我们推导出一种新颖的初始化方案，可消除或减轻训练不稳定性。我们在多个序列任务上验证了该初始化方案的有效性，其能够实现成功训练，而标准初始化要么完全失败，要么慢数个数量级。我们还观察到使用这一新初始化对泛化性能有有益影响。
引用
@article{arxiv.1901.08987,
title = {Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs},
author = {Dar Gilboa and Bo Chang and Minmin Chen and Greg Yang and Samuel S. Schoenholz and Ed H. Chi and Jeffrey Pennington},
journal= {arXiv preprint arXiv:1901.08987},
year = {2019}
}