论长短期记忆网络的初始化
机器学习
2019-12-24 v1 计算机视觉与模式识别
摘要
权重初始化对于深度神经网络训练的更快收敛与稳定性十分重要。本文提出了一种鲁棒的初始化方法，以解决长短期记忆（LSTM）网络中的训练不稳定性。该方法基于网络权重的归一化随机初始化，旨在将网络输入与输出的方差保持在相同范围内。该方法被应用于标准 LSTM 的单变量时间序列回归，以及鲁棒于缺失值的 LSTM 的多变量疾病进展建模。结果表明，在所有情况下，所提出的初始化方法在训练收敛性和所得解的泛化性能方面均优于最先进的初始化技术。
引用
@article{arxiv.1912.10454,
title = {On the Initialization of Long Short-Term Memory Networks},
author = {Mostafa Mehdipour Ghazi and Mads Nielsen and Akshay Pai and Marc Modat and M. Jorge Cardoso and Sebastien Ourselin and Lauge Sorensen},
journal= {arXiv preprint arXiv:1912.10454},
year = {2019}
}