面向深层窄前向神经网络的改进权重初始化
机器学习
2024-04-02 v2 神经与进化计算
摘要
恰当的权重初始化设置，连同 ReLU 激活函数，已成为现代深度学习的基石，使得在人工智能各领域训练和部署高效且高效的神经网络模型成为可能。"死亡 ReLU"（即 ReLU 神经元失活并输出零）问题在带有 ReLU 激活函数的深度神经网络训练中构成重大挑战。已有理论研究和多种方法被提出以应对该问题。然而，即便有这些方法和研究，对于带有 ReLU 激活函数的极深且窄的前向网络，训练仍然困难。本文中，我们提出一种新颖的权重初始化方法来解决此问题。我们建立了初始权重矩阵的若干性质，并展示了这些性质如何实现信号向量的有效传播。通过一系列实验并与现有方法比较，我们证明了该新颖初始化方法的有效性。
引用
@article{arxiv.2311.03733,
title = {Improved weight initialization for deep and narrow feedforward neural network},
author = {Hyunwoo Lee and Yunho Kim and Seung Yeop Yang and Hayoung Choi},
journal= {arXiv preprint arXiv:2311.03733},
year = {2024}
}
备注
13 pages