一种用于训练多层前馈神经网络的高效初始化方案
机器学习
2020-06-26 v3 统计计算
机器学习
摘要
网络初始化是训练神经网络的第一步也是关键一步。在本文中，我们提出了一种基于著名的 Stein 恒等式的新型网络初始化方案。通过将多层前馈神经网络视为多指标模型的级联，使用输入的二阶得分函数与响应之间的交叉矩矩阵的特征向量来初始化到第一个隐藏层的投影权重。然后将输入数据前向传播到下一层，并且可以重复这样的过程直到所有隐藏层都被初始化。最后，通过广义线性建模初始化输出层的权重。大量数值结果表明，所提出的 SteinGLM 方法比训练神经网络常用的其他流行方法更快且更准确。
引用
@article{arxiv.2005.08027,
title = {An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks},
author = {Zebin Yang and Hengtao Zhang and Agus Sudjianto and Aijun Zhang},
journal= {arXiv preprint arXiv:2005.08027},
year = {2020}
}