批归一化残差网络中梯度传播的解析
机器学习
2018-12-04 v1 机器学习
摘要
在这项工作中，我们对批归一化（BN）在残差网络训练中对梯度反向传播的影响进行了数学分析，该影响被认为在解决梯度消失/爆炸问题中起关键作用。通过分析前向与后向过程中分别经过 BN 与残差分支的输入与梯度的均值与方差行为，我们表明它们协同作用将反向传播中跨残差块的梯度方差限制在特定范围内。因此，梯度消失/爆炸问题得以避免。我们还展示了批归一化相对于残差网络中残差分支的相对重要性。
引用
@article{arxiv.1812.00342,
title = {Analysis on Gradient Propagation in Batch Normalized Residual Networks},
author = {Abhishek Panigrahi and Yueru Chen and C. -C. Jay Kuo},
journal= {arXiv preprint arXiv:1812.00342},
year = {2018}
}