超越梯度爆炸与消失：利用吸引子与平滑性分析RNN训练
机器学习
2020-03-06 v3 神经与进化计算
动力系统
机器学习
摘要
在过去十年中，梯度爆炸与消失问题一直是循环神经网络（RNN）大多数架构与训练改进背后的主要概念原则。本文中，我们认为这一原则虽然有力，但可能需要一些修正以解释近期的发展。我们通过将问题重新表述为代价函数平滑性的形式来精炼梯度爆炸的概念，从而洞察高阶导数以及存在许多相近局部极小值的区域。我们还澄清了梯度消失与RNN需要学习吸引子以充分利用其表达能力之间的区别。借助这些修正的视角，我们对RNN领域的近期进展——即可稳定RNN与酉（或正交）RNN——提出了新的见解。
引用
@article{arxiv.1906.08482,
title = {Beyond exploding and vanishing gradients: analysing RNN training using attractors and smoothness},
author = {Antônio H. Ribeiro and Koen Tiels and Luis A. Aguirre and Thomas B. Schön},
journal= {arXiv preprint arXiv:1906.08482},
year = {2020}
}
备注
To appear in the Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics (AISTATS), 2020. PMLR: Volume 108. This paper was previously titled "The trade-off between long-term memory and smoothness for recurrent networks". The current version subsumes all previous versions