循环神经网络中记忆距离限度的实证分析
机器学习
2022-12-22 v1 计算机视觉与模式识别
摘要
所有各类循环神经网络（RNNs）的共同意图是通过时间建模数据点之间的关系。当后续数据点之间不存在直接关系时（例如数据点随机生成时），我们表明 RNNs 仍能通过使用标准反向传播死记硬背地记住序列中往回的几个数据点。然而，我们也表明，对于经典 RNN、LSTM 和 GRU 网络，以这种方式可复现的循环调用间数据点距离受到高度限制（相较于即便松散的数据点间联系），并受到所讨论 RNN 的类型与规模带来的各种约束。这意味着相关数据点之间距离存在一个硬限制（远低于信息论极限），在此之内 RNNs 仍能识别所述关系。
引用
@article{arxiv.2212.11085,
title = {Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks},
author = {Steffen Illium and Thore Schillman and Robert Müller and Thomas Gabor and Claudia Linnhoff-Popien},
journal= {arXiv preprint arXiv:2212.11085},
year = {2022}
}