重新审视神经网络的初始化
机器学习
2020-06-05 v3 最优化与控制
机器学习
摘要
权重的恰当初始化对于深度神经网络（DNNs）的有效训练和快速收敛至关重要。该领域的先前工作主要集中于平衡每层权重的方差，以分别维持（i）向前传播通过网络的输入数据和（ii）向后传播的损失梯度的稳定性。然而，这种流行的启发式方法忽略了各层梯度之间的依赖关系，且仅捕捉了一阶效应。在本文中，我们提出并讨论了一种初始化原则，该原则基于对跨层权重的全局曲率的严格估计，通过近似和控制其 Hessian 矩阵的范数来实现。所提方法更具系统性，并恢复了针对 DNN 激活函数（如光滑函数、dropout 和 ReLU）的先前结果。我们在 Word2Vec 以及 MNIST/CIFAR 图像分类任务上的实验证实，追踪 Hessian 范数是一个有用的诊断工具，有助于更严谨地初始化权重。
引用
@article{arxiv.2004.09506,
title = {Revisiting Initialization of Neural Networks},
author = {Maciej Skorski and Alessandro Temperoni and Martin Theobald},
journal= {arXiv preprint arXiv:2004.09506},
year = {2020}
}