BN 与 ReLU 的不协调导致梯度爆炸，但被激活值间的相关性所抵消
机器学习
2023-05-23 v4
摘要
采用批归一化和类 ReLU 激活函数的深度神经网络，由于时间梯度爆炸引起的高梯度，在训练早期阶段遭受不稳定性。在本研究中，我们从理论和经验两方面分析梯度爆炸的发生与缓解，发现激活值之间的相关性在阻止梯度爆炸持续整个训练过程中起关键作用。最后，基于我们的观察，我们提出了一种改进的自适应学习率算法，以有效控制训练不稳定性。
引用
@article{arxiv.2304.11692,
title = {The Disharmony between BN and ReLU Causes Gradient Explosion, but is Offset by the Correlation between Activations},
author = {Inyoung Paik and Jaesik Choi},
journal= {arXiv preprint arXiv:2304.11692},
year = {2023}
}
备注
9 pages