深入方差传播与归一化：平均梯度偏移导致网络崩溃
计算机视觉与模式识别
2021-03-23 v1
摘要
归一化操作对最先进的神经网络至关重要，并使我们能以大学习率(LR)从零训练网络。我们试图从方差传播视角，通过考察批归一化(BN)与权重归一化(WN)的关系，解释BN的真实作用。本工作中，我们证明平均梯度偏移问题会放大每个卷积(conv)层的方差。我们提出参数化权重标准化(PWS)，一种用于卷积滤波器、对小批量大小快速且鲁棒的模块，以解决平均梯度偏移。PWS可提供BN的加速效果。此外，其计算量更少且不改变卷积层的输出。PWS使网络无需归一化输出即可快速收敛。该结果增强了平均梯度偏移的说服力，并从方差传播视角解释了BN为何有效。代码与附录将发布于 https://github.com/lyxzzz/PWSConv。
引用
@article{arxiv.2103.11590,
title = {Delving into Variance Transmission and Normalization: Shift of Average Gradient Makes the Network Collapse},
author = {Yuxiang Liu and Jidong Ge and Chuanyi Li and Jie Gui},
journal= {arXiv preprint arXiv:2103.11590},
year = {2021}
}
备注
This paper has been accepted by AAAI21