修正线性多层感知机中权重分布的不变量性
机器学习
2018-06-04 v3 机器学习
摘要
分析神经网络的一种引人关注且近期重新受到重视的方法是研究神经网络的等价核（equivalent kernel）。这基于如下事实：具有一个隐藏层、特定权重分布、激活函数以及无限多个神经元的全连接前馈网络可视为到希尔伯特空间的映射。我们推导了具有ReLU或Leaky ReLU激活函数的多层感知机（MLP）在所有旋转不变权重分布下的等价核，推广了先前要求高斯权重分布的结果。此外，利用中心极限定理证明，对于某些激活函数，具有 均值与有限绝对三阶矩的权重分布所对应的核是渐近普适的，并且可由对应球高斯权重层的核很好地近似。在深度网络中，随着深度增加，等价核趋于一个病态不动点，这可用于解释为何训练随机初始化网络较为困难。我们的结果对权重初始化也有启示。
引用
@article{arxiv.1711.09090,
title = {Invariance of Weight Distributions in Rectified MLPs},
author = {Russell Tsuchida and Farbod Roosta-Khorasani and Marcus Gallagher},
journal= {arXiv preprint arXiv:1711.09090},
year = {2018}
}
备注
ICML 2018