面向循环高速公路网络的高速状态门控：改善随时间的信息流
机器学习
2018-05-24 v1 人工智能
机器学习
摘要
循环神经网络（RNNs）在序列学习领域中发挥着重要作用，并在许多基准上超越了传统算法。训练深度RNN仍然是一项挑战，大多数最先进的模型的结构化转移深度为2-4层。循环高速公路网络（RHNs）的提出正是为了解决这一问题。这些网络利用10层的深度在少数基准上取得了最先进的性能。然而，该架构的性能受到瓶颈的限制，当尝试增加更多层时性能停止提升。在本工作中，我们分析其原因，并假定主要来源是信息随时间流动的方式。我们为RHN单元引入一种新颖而简单的变体，称为高速状态门控（HSG），它允许增加更多层，同时持续提升性能。通过对状态使用门控机制，我们让网络“选择”是直接随时间传递信息还是对其进行门控。该机制还允许梯度直接随时间反向传播，从而带来略快一些的收敛。我们使用Penn Treebank（PTB）数据集作为概念验证的经验平台。经验结果表明，高速状态门控带来的改进适用于所有深度，且随着深度增加，改进也随之增大。
引用
@article{arxiv.1805.09238,
title = {Highway State Gating for Recurrent Highway Networks: improving information flow through time},
author = {Ron Shoham and Haim Permuter},
journal= {arXiv preprint arXiv:1805.09238},
year = {2018}
}
备注
Accepted at CSCML (Cyber Security Cryptography and Machine Learning) 2018