通过分组分配单元学习更长程依赖
神经与进化计算
2019-06-24 v1 机器学习
机器学习
摘要
尽管循环神经网络（RNNs）近期在序列建模中取得成功，学习长程依赖对其而言仍困难。本文提出一种仅含单个门的新型门控RNN结构。所提出的分组分配单元（GDU）将隐藏状态划分为若干组。对于每组，每次状态转移中被覆盖的记忆比例被限制为常数，并自适应地分配给各组成员。换言之，每个独立组具有固定的总体更新率，但所有单元允许以不同步调更新。信息因此被强制以灵活方式锁存，有助于模型捕捉数据中的长程依赖。除结构更简单外，实验证明GDU在包括病态问题与自然数据集的任务上优于LSTM和GRU。
引用
@article{arxiv.1906.08856,
title = {Learning Longer-term Dependencies via Grouped Distributor Unit},
author = {Wei Luo and Feng Yu},
journal= {arXiv preprint arXiv:1906.08856},
year = {2019}
}