MCRM:母紧凑循环记忆
神经与进化计算
2019-08-08 v3 机器学习
机器学习
摘要
LSTM和GRU是用于解决时间序列问题的最常见循环神经网络架构。这两种架构具有处理称为细胞状态(也称为记忆)的共同组件的不同数据流。我们试图通过提出一种称为母紧凑循环记忆(MCRM)的改进来增强记忆。MCRM是一种嵌套的LSTM-GRU架构,其中细胞状态为GRU隐藏状态。来自LSTM的遗忘门和输入门交互的拼接被视为GRU细胞的输入。由于MCRM具有此类嵌套,MCRM具有由神经元组成的紧凑记忆模式,这些神经元以显式的长期和短期方式运作。对于一些特定任务,实证结果表明MCRM优于先前使用的架构。
引用
@article{arxiv.1808.02016,
title = {MCRM: Mother Compact Recurrent Memory},
author = {Abduallah A. Mohamed and Christian Claudel},
journal= {arXiv preprint arXiv:1808.02016},
year = {2019}
}
备注
Submitted to AAAI-19