预热循环神经网络以最大化可达多稳态从而极大改善学习

众所周知，当时序依赖变长时，训练循环神经网络十分困难。本工作中，我们表明大多数标准单元在初始化时仅有一个稳定平衡点，而对具有长时依赖任务的学习通常发生于网络稳定平衡点数增加之后；这一性质称为多稳态。多稳态往往不易被初始单稳态网络获得，使得输入与输出间长时依赖的学习变得困难。该洞见催生了一种新颖的初始化方法，称为“预热（warmup）”，通过该程序初始化任意循环单元连接以提升其学习任意长时依赖的能力。该初始化过程旨在以极少梯度步数最大化网络可达多稳态，即网络中可通过相关输入轨迹到达的平衡点数量。我们在多个信息复原、序列分类与强化学习基准上表明，预热极大提升了多种循环单元的学习速度与性能，但有时会损害精度。因此我们引入以部分预热初始化的双层架构，其被证明在保持高精度水平的同时极大改善长时依赖学习。该方法为在存在长时依赖时提升任意循环单元学习能力提供了通用框架。我们还通过实验表明，文献中其他初始化与预训练过程隐式地促进了循环单元的可达多稳态。