循环神经网络能够扭曲时间吗？
机器学习
2018-05-01 v1 神经与进化计算
机器学习
摘要
成功的循环模型，如长短期记忆网络和门控循环单元，使用特定的门控机制。经验上发现这些模型能改善对中到长期时间依赖的学习，并有助于缓解梯度消失问题。我们证明，循环模型中的可学习门在形式上对输入数据中的一般时间变换提供了拟不变性。我们通过简单的公理化方法恢复了部分 LSTM 架构。这一结果引出了一种初始化 LSTM 和 GRU 中门偏置的新方法。实验表明，这种新的时间初始化以极小的实现成本极大地改善了对长期依赖的学习。
引用
@article{arxiv.1804.11188,
title = {Can recurrent neural networks warp time?},
author = {Corentin Tallec and Yann Ollivier},
journal= {arXiv preprint arXiv:1804.11188},
year = {2018}
}