深度残差学习中的谱集中：一种自由概率方法
机器学习
2019-02-26 v3 机器学习
摘要
我们向深度学习社区引入自由概率中的一种新颖分析工具，借此重新审视深度残差网络（ResNets）的初始化。该工具处理非Hermitian随机矩阵，而非文献中传统的Hermitian对应物。因此，这一新工具使我们能够评估全连接深度ResNet的输入-输出Jacobian在线性与非线性情形下的奇异值谱。借助自由概率这一强大工具，我们对单层情形下的谱进行渐近分析，并将该分析推广到任意层数多层情形。特别地，我们提出以残差单元的数量对经典随机初始化进行重新缩放，从而使得谱具有 的阶，相对于网络的大宽度与深度而言。我们通过实验证明，所提出的初始化方案的学习速度比经典方案快数个数量级，从而证实了该研究的强实践相关性。
引用
@article{arxiv.1807.11694,
title = {Spectrum concentration in deep residual learning: a free probability approach},
author = {Zenan Ling and Xing He and Robert C. Qiu},
journal= {arXiv preprint arXiv:1807.11694},
year = {2019}
}