深度神经网络中的权重初始化
机器学习
2017-05-04 v2
摘要
神经网络中权重的恰当初始化对其收敛至关重要。当前对权重初始化的认识主要源于线性激活函数。本文中，我发展了针对非线性激活的权重初始化理论。首先，我推导了使用在0处可微的激活函数的任意神经网络的通用权重初始化策略。接着，我推导了修正线性单元（ReLU）的权重初始化策略，并从理论上阐明了为何Xavier初始化在ReLU激活下是糟糕的选择。我的分析清晰地展示了非线性在确定恰当权重初始化中的作用。
引用
@article{arxiv.1704.08863,
title = {On weight initialization in deep neural networks},
author = {Siddharth Krishna Kumar},
journal= {arXiv preprint arXiv:1704.08863},
year = {2017}
}
备注
9 pages, 4 figures