如何开始训练：初始化与架构的影响
机器学习
2018-11-14 v3 机器学习
摘要
我们识别并研究了深度 ReLU 网络早期训练中的两种常见失败模式。针对每一种，我们给出了在完全连接与残差架构下其发生条件及避免方法的严格证明。第一种失败模式，即平均激活长度爆炸/消失，可通过从方差为 2/fan-in 的对称分布初始化权重来避免，对于 ResNet，还需正确加权残差模块。我们证明第二种失败模式，即激活长度方差指数级大，一旦避免了第一种失败模式，在残差网络中永远不会发生。相反，对于完全连接网络，我们证明这种失败模式可能发生，并通过保持层宽倒数之和恒定来避免。我们通过实验证明了我们的理论结果在预测网络能否开始训练时的有效性。特别地，我们注意到许多流行的初始化不满足我们的准则，而正确的初始化与架构使得更深的网络得以训练。
引用
@article{arxiv.1803.01719,
title = {How to Start Training: The Effect of Initialization and Architecture},
author = {Boris Hanin and David Rolnick},
journal= {arXiv preprint arXiv:1803.01719},
year = {2018}
}
备注
Final Version, 16p, Accepted NIPS 2018