循环神经网络的渐进学习
机器学习
2018-05-24 v2 信息论
机器学习
math.IT
摘要
循环神经网络（RNNs）在许多序列到序列建模任务中取得了最先进的结果。然而，RNNs 难以训练且易于过拟合。受数据处理不等式（DPI）启发，我们将多层网络表述为马尔可夫链，引入了一种包含逐步训练网络和使用逐层梯度裁剪的训练方法。我们发现，应用我们的方法，结合先前引入的正则化和优化方法，改善了在语言建模任务中运行的最先进架构。
引用
@article{arxiv.1708.08863,
title = {Gradual Learning of Recurrent Neural Networks},
author = {Ziv Aharoni and Gal Rattner and Haim Permuter},
journal= {arXiv preprint arXiv:1708.08863},
year = {2018}
}
备注
8 pages, 2 figures