残差网络中以通用方式对任意激活函数实现动力等距
机器学习
2019-03-05 v3 机器学习
摘要
我们证明，在残差神经网络（ResNets）中，无论使用何种激活函数，均可实现动力等距（dynamical isometry）。为此，我们借助自由概率（Free Probability）与随机矩阵理论，推导了在大网络宽度与深度极限下初始化时输入-输出雅可比矩阵谱密度的通用公式。所得的奇异值谱依赖于单一参数，我们通过分析人工神经网络中的信号传播，针对多种常用激活函数计算了该参数。我们使用随机矩阵以及应用于 CIFAR-10 分类问题的 ResNets 的数值模拟证实了我们的结果。此外，我们研究了这种通用行为对学习的初始阶段与后期阶段的影响。最后我们指出一个简单事实：初始化在激活函数的选择与学习速率之间起到了混淆因素的作用。我们提出，在 ResNets 中，基于我们的结果，可通过确保在初始化时具有相同水平的动力等距来解决此问题。
引用
@article{arxiv.1809.08848,
title = {Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function},
author = {Wojciech Tarnowski and Piotr Warchoł and Stanisław Jastrzębski and Jacek Tabor and Maciej A. Nowak},
journal= {arXiv preprint arXiv:1809.08848},
year = {2019}
}