用于语言建模的金字塔循环单元
计算与语言
2018-08-29 v1
摘要
LSTM 是建模上下文信息的强大工具，其在语言建模任务上的成功便证明了这一点。然而，在极高维空间中建模上下文可能导致泛化能力不佳。我们提出金字塔循环单元（PRU），它能够在高维空间中以更强的泛化能力和更少的参数学习表示。PRU 用更复杂的相互作用（包括金字塔式和分组线性变换）替代 LSTM 中的线性变换。该架构在词级语言建模上取得了强劲结果，同时显著减少了参数数量。具体而言，PRU 将近期最先进的语言模型 Merity et al. (2018) 的困惑度提升了至多 1.3 个点，同时学习的参数减少 15-20%。在参数量相近的情况下，PRU 优于所有先前利用不同门控机制与变换的 RNN 模型。我们对 PRU 及其在语言建模任务上的行为进行了详细考察。我们的代码是开源的，可在 https://sacmehta.github.io/PRU/ 获取。
引用
@article{arxiv.1808.09029,
title = {Pyramidal Recurrent Unit for Language Modeling},
author = {Sachin Mehta and Rik Koncel-Kedziorski and Mohammad Rastegari and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:1808.09029},
year = {2018}
}
备注
Accepted as a long paper in EMNLP 2018