面向循环神经网络的多区单元
计算与语言
2019-11-19 v1
摘要
循环神经网络（RNNs）已被广泛用于序列学习问题。输入依赖的转移函数将新观测折叠进隐状态以顺序构建任意长度序列的固定长度表示，在RNNs中起着关键作用。基于单一空间组合，现有RNN的转移函数常难以捕捉复杂长距离依赖。本文引入一种用于RNN的新颖多区单元（MZU）。其核心思想是设计可建模多空间组合的转移函数。MZU由三部件组成：区域生成、区域组合与区域聚合。在字符级语言建模与基于方面的情感分析任务多个数据集上的实验结果展示了MZU的优越性。
引用
@article{arxiv.1911.07184,
title = {Multi-Zone Unit for Recurrent Neural Networks},
author = {Fandong Meng and Jinchao Zhang and Yang Liu and Jie Zhou},
journal= {arXiv preprint arXiv:1911.07184},
year = {2019}
}
备注
Accepted at AAAI 2020