用于高度可并行化循环的简单循环单元
计算与语言
2018-09-10 v5 神经与进化计算
摘要
常见的循环神经架构由于状态计算内在难以并行而扩展性差。本工作中，我们提出简单循环单元（SRU），一种平衡模型容量与可扩展性的轻量循环单元。SRU旨在提供具表达力的循环，实现高度并行化实现，并带有精心初始化以促进深度模型训练。我们在多项NLP任务上展示了SRU的有效性。SRU在分类与问答数据集上比cuDNN优化的LSTM取得5--9倍加速，并给出比LSTM与卷积模型更强的结果。我们还通过将SRU融入架构，在翻译上比Transformer模型平均获得0.7 BLEU的提升。
引用
@article{arxiv.1709.02755,
title = {Simple Recurrent Units for Highly Parallelizable Recurrence},
author = {Tao Lei and Yu Zhang and Sida I. Wang and Hui Dai and Yoav Artzi},
journal= {arXiv preprint arXiv:1709.02755},
year = {2018}
}
备注
EMNLP