Fixup初始化：无需归一化的残差学习
机器学习
2019-03-13 v2 计算机视觉与模式识别
机器学习
摘要
归一化层是当今最先进深度神经网络架构中的标配。人们普遍认为它们能稳定训练、允许更高学习率、加速收敛并改善泛化，尽管其有效性的原因仍是活跃的研究课题。在本工作中，我们挑战这些普遍看法，表明上述任何被感知的好处都非归一化所独有。具体而言，我们提出固定更新初始化(Fixup)，该初始化通过适当重新缩放标准初始化，在训练初期解决梯度爆炸与消失问题。我们发现使用Fixup训练残差网络与使用归一化训练一样稳定——即便网络层数达10,000层。此外，配合适当的正则化，Fixup使无归一化的残差网络在图像分类与机器翻译中达到最先进的性能。
引用
@article{arxiv.1901.09321,
title = {Fixup Initialization: Residual Learning Without Normalization},
author = {Hongyi Zhang and Yann N. Dauphin and Tengyu Ma},
journal= {arXiv preprint arXiv:1901.09321},
year = {2019}
}
备注
Updating reference. Accepted for publication at ICLR 2019; see https://openreview.net/forum?id=H1gsz30cKX