一种基于神经网络线性乘积结构的权重初始化方法
机器学习
2022-08-09 v2 数值分析
数值分析
摘要
权重初始化在训练神经网络中起着重要作用，并影响大量的深度学习应用。针对不同的激活函数与不同的神经网络，已经开发了多种权重初始化策略。这些初始化算法基于最小化层间参数方差，在神经网络较深时仍可能失效，例如 ReLU 死亡问题。为应对该挑战，我们从非线性计算的角度研究神经网络，并提出一种基于神经网络线性乘积结构（Linear Product Structure, LPS）的新颖权重初始化策略。所提策略源自激活函数的多项式逼近，利用数值代数几何理论保证找到所有局部极小值。我们还提供理论分析表明，与其他现有初始化策略相比，LPS 初始化具有更低的 ReLU 死亡概率。最后，我们在全连接神经网络与卷积神经网络上测试 LPS 初始化算法，以展示其在公开数据集上的可行性、效率与鲁棒性。
引用
@article{arxiv.2109.00125,
title = {A Weight Initialization Based on the Linear Product Structure for Neural Networks},
author = {Qipin Chen and Wenrui Hao and Juncai He},
journal= {arXiv preprint arXiv:2109.00125},
year = {2022}
}
备注
18 pages, 4 figures