RNN 与 LSTM 是否具有长记忆？
机器学习
2020-06-11 v2 机器学习
摘要
LSTM 网络被提出以克服学习长期依赖的困难，并在应用中取得了显著进展。鉴于其成功与缺陷，本文提出一个问题——RNN 与 LSTM 是否具有长记忆？我们通过证明 RNN 与 LSTM 从统计视角不具有长记忆来部分回答该问题。进一步引入了一种长记忆网络的新定义，其要求模型权重以多项式速率衰减。为验证我们的理论，我们通过极小修改将 RNN 与 LSTM 转换为长记忆网络，并通过对各类数据集长期依赖建模的优越性加以说明。
引用
@article{arxiv.2006.03860,
title = {Do RNN and LSTM have Long Memory?},
author = {Jingyu Zhao and Feiqing Huang and Jia Lv and Yanjie Duan and Zhen Qin and Guodong Li and Guangjian Tian},
journal= {arXiv preprint arXiv:2006.03860},
year = {2020}
}
备注
Accepted by ICML 2020. Added references, experiments and acknowledgements