梯度爆炸问题揭秘——定义、普遍性、影响、起源、权衡与解决方案
机器学习
2018-04-10 v4 计算机视觉与模式识别
摘要
尽管人们认为 Adam、batch normalization（批归一化）以及近年的 SeLU 非线性等技巧“解决”了梯度爆炸问题，我们表明这一般而言并不成立，且在一系列流行的 MLP（多层感知机）架构中，梯度爆炸依然存在，并在理论与实践中限制了网络可有效训练的深度。我们解释了梯度爆炸的成因，并强调了在规避梯度爆炸的架构中可能出现的*坍缩域问题*（collapsing domain problem）。ResNet 具有显著更小的梯度，从而能规避梯度爆炸问题，使更深层网络的有效训练成为可能。我们表明这是 Pythagorean 方程的直接结果。通过注意到*任何神经网络都是残差网络*，我们设计了*残差技巧*（residual trick），揭示引入跳跃连接从数学上简化了网络，而这种简洁性或许正是其成功的主因。
引用
@article{arxiv.1712.05577,
title = {The exploding gradient problem demystified - definition, prevalence, impact, origin, tradeoffs, and solutions},
author = {George Philipp and Dawn Song and Jaime G. Carbonell},
journal= {arXiv preprint arXiv:1712.05577},
year = {2018}
}
备注
An earlier version of this paper was named "Gradients explode - Deep Networks are shallow - ResNet explained" and presented at the ICLR 2018 workshop (https://openreview.net/forum?id=rJjcdFkPM)