关于训练循环神经网络的困难
机器学习
2013-02-19 v2
摘要
正确训练循环神经网络存在两个众所周知的问题，即 Bengio 等人 (1994) 详细阐述的梯度消失和梯度爆炸问题。在本文中，我们试图通过分析、几何和动力系统视角来探索这些问题，以增进对潜在问题的理解。我们的分析被用来证明一种简单而有效的解决方案的合理性。我们提出了一种梯度范数裁剪策略来处理梯度爆炸问题，以及一种针对梯度消失问题的软约束。我们在实验部分实证验证了我们的假设和提出的解决方案。
引用
@article{arxiv.1211.5063,
title = {On the difficulty of training Recurrent Neural Networks},
author = {Razvan Pascanu and Tomas Mikolov and Yoshua Bengio},
journal= {arXiv preprint arXiv:1211.5063},
year = {2013}
}
备注
Improved description of the exploding gradient problem and description and analysis of the vanishing gradient problem