一种用于序列建模的轻量级循环网络
计算与语言
2019-06-03 v1
摘要
循环网络借助复杂的循环单元在各种序列任务上取得了巨大成功，但由于弱并行化而面临严重的计算低效问题。缓解该问题的一种方向是将繁重计算移出循环之外。在本文中，我们提出了一种轻量级循环网络，即 LRN。LRN 使用输入门和遗忘门处理长程依赖以及梯度消失与爆炸，并将所有与参数相关的计算分解到循环之外。LRN 中的循环仅操纵分配给每个 token 的权重，使 LRN 与自注意力网络紧密关联。我们将 LRN 作为现有循环单元的直接替换应用于若干神经序列模型中。在六个 NLP 任务上的大量实验表明，LRN 在模型性能几乎无损失或无损失的情况下取得了最佳运行效率。
引用
@article{arxiv.1905.13324,
title = {A Lightweight Recurrent Network for Sequence Modeling},
author = {Biao Zhang and Rico Sennrich},
journal= {arXiv preprint arXiv:1905.13324},
year = {2019}
}
备注
ACL 2019, long paper