关于深度循环网络的长期记忆
机器学习
2018-06-07 v2 神经与进化计算
摘要
驱动现代循环神经网络（RNNs）在学习涉及序列数据的任务上取得空前成功的一个关键属性，是它们建模复杂长期时间依赖关系的能力。然而，缺乏一个确立的RNN长期记忆容量度量，因此对其深度如何影响跨时间关联数据的形式化理解是有限的。具体而言，卷积网络已有的深度效率结果不足以解释深度RNN在变长数据上的成功。为此，我们引入一个衡量网络跨时间支持信息流能力的度量，称为首-尾分离秩，它反映了循环网络实现的函数距离建模输入序列首尾间无依赖的远近。我们证明深度循环网络支持的首-尾分离秩组合地高于其浅层对应物。因此，我们确立了深度给循环网络建模长期依赖的能力带来压倒性优势，并提供了一个量化此关键属性的范例，可容易扩展到其他感兴趣的RNN架构，例如LSTM网络的变体。我们通过考虑一类称为循环算术电路的循环网络获得结果，其通过乘性积分运算将隐藏状态与输入合并，并在常见RNN上实证展示了所讨论现象。最后，我们采用量子张量网络工具获得关于深度在循环网络中带来的复杂性的额外图形化洞察。
引用
@article{arxiv.1710.09431,
title = {On the Long-Term Memory of Deep Recurrent Networks},
author = {Yoav Levine and Or Sharir and Alon Ziv and Amnon Shashua},
journal= {arXiv preprint arXiv:1710.09431},
year = {2018}
}
备注
An earlier version of this paper was accepted to the workshop track of the 6th International Conference on Learning Representations (ICLR) 2018