用局部可计算损失解耦分层循环神经网络
机器学习
2019-10-14 v1 神经与进化计算
机器学习
摘要
学习长期依赖是循环神经网络（RNNs）一个长期存在的关键挑战。分层循环神经网络（HRNNs）曾被视为一种有前景的方法，因为长期依赖可通过层级上下行的捷径得以解决。然而，截断时间反向传播（TBPTT）的内存需求仍阻碍其在极长序列上的训练。本文中，我们通过实验表明，在（深层）HRNNs 中，将梯度从较高层反向传播至较低层可被局部可计算损失所替代，且在广泛任务上不损害网络的学习能力。这种通过局部损失的解耦，与标准 TBPTT 相比，将训练的内存需求降低了层级深度指数倍。
引用
@article{arxiv.1910.05245,
title = {Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses},
author = {Asier Mujika and Felix Weissenberger and Angelika Steger},
journal= {arXiv preprint arXiv:1910.05245},
year = {2019}
}