中文

MCRM:母紧凑循环记忆

神经与进化计算 2019-08-08 v3 机器学习 机器学习

摘要

LSTM和GRU是用于解决时间序列问题的最常见循环神经网络架构。这两种架构具有处理称为细胞状态(也称为记忆)的共同组件的不同数据流。我们试图通过提出一种称为母紧凑循环记忆(MCRM)的改进来增强记忆。MCRM是一种嵌套的LSTM-GRU架构,其中细胞状态为GRU隐藏状态。来自LSTM的遗忘门和输入门交互的拼接被视为GRU细胞的输入。由于MCRM具有此类嵌套,MCRM具有由神经元组成的紧凑记忆模式,这些神经元以显式的长期和短期方式运作。对于一些特定任务,实证结果表明MCRM优于先前使用的架构。

关键词

引用

@article{arxiv.1808.02016,
  title  = {MCRM: Mother Compact Recurrent Memory},
  author = {Abduallah A. Mohamed and Christian Claudel},
  journal= {arXiv preprint arXiv:1808.02016},
  year   = {2019}
}

备注

Submitted to AAAI-19