基于时间尺度表示再分析的循环神经网络长期时间依赖学习
机器学习
2021-11-08 v1 机器学习
摘要
具有门控机制（如 LSTM 或 GRU）的循环神经网络是建模序列数据的有力工具。在该机制中，遗忘门最初被引入以控制 RNN 隐藏状态中的信息流，近来被重新解释为状态时间尺度的代表，即衡量 RNN 保留输入信息的时长。基于这一解释，已有若干利用数据时间依赖先验知识以提升可学习性的参数初始化方法被提出。然而，该解释依赖于各种不现实的假设，例如在某时间点之后不存在输入。本工作中，我们在更现实的设定下重新考量遗忘门的解释。我们首先推广现有门控 RNN 理论，使之能考虑输入连续给出的情形。接着我们论证，当损失相对于状态的梯度随时间的回溯呈指数衰减时，将遗忘门视为时间尺度表示是成立的。我们通过实验证明，在多个任务上现有 RNN 在训练初始阶段满足该梯度条件，这与以往的初始化方法相吻合。基于该发现，我们提出一种构建新 RNN 的方法，其能表示比传统模型更长的时间尺度，从而改善对长期序列数据的可学习性。我们通过真实世界数据集上的实验验证了方法的有效性。
引用
@article{arxiv.2111.03282,
title = {Recurrent Neural Networks for Learning Long-term Temporal Dependencies with Reanalysis of Time Scale Representation},
author = {Kentaro Ohno and Atsutoshi Kumagai},
journal= {arXiv preprint arXiv:2111.03282},
year = {2021}
}
备注
8 pages, 5 figures, IEEE ICBK 2021