梯度破碎问题：如果残差网络是答案，那么问题是什么？

深度学习进展中长期存在的障碍是梯度消失和爆炸问题。尽管通过精心设计的初始化和批归一化，该问题已在很大程度上得到克服，但即使有良好的初始化和批归一化，包含跳跃连接（如高速网络和残差网络）的架构也比标准前馈架构表现好得多。在本文中，我们识别出梯度破碎问题。具体而言，我们表明标准前馈网络中梯度之间的相关性随深度呈指数衰减，导致梯度类似于白噪声；相比之下，具有跳跃连接的架构中的梯度对破碎的抵抗力强得多，呈亚线性衰减。我们在全连接网络和卷积网络上提供了详细的实证证据来支持这一分析。最后，我们提出了一种新的“看起来线性”(LL) 初始化方法，可以防止梯度破碎，初步实验表明这种新的初始化方法允许在不添加跳跃连接的情况下训练非常深的网络。