ARMIN：一种更高效且轻量级的循环记忆网络
机器学习
2019-07-01 v1 神经与进化计算
机器学习
摘要
近年来，记忆增强神经网络（MANNs）在增强神经网络用于序列处理任务的记忆能力方面展现出良好潜力。然而，以往的 MANNs 存在复杂的记忆寻址机制，使其相对难以训练并带来计算开销。此外，其中许多复用经典的 RNN 结构（如 LSTM）进行记忆处理，导致记忆信息利用不充分。本文提出一种新颖的 MANN——自动寻址与循环记忆整合网络（ARMIN）以解决这些问题。ARMIN 仅利用隐藏状态 ht 进行自动记忆寻址，并使用一种新颖的 RNN 单元来精细整合记忆信息。多种实验的实证结果表明，与现有记忆网络相比，ARMIN 更轻量且高效。此外，我们证明 ARMIN 在保持相近性能的同时，可比原始 LSTM 实现低得多的计算开销。代码见 github.com/zoharli/armin。
引用
@article{arxiv.1906.12087,
title = {ARMIN: Towards a More Efficient and Light-weight Recurrent Memory Network},
author = {Zhangheng Li and Jia-Xing Zhong and Jingjia Huang and Tao Zhang and Thomas Li and Ge Li},
journal= {arXiv preprint arXiv:1906.12087},
year = {2019}
}
备注
Published in IJCAI 2019