基于多单元 LSTM 的神经语言模型
神经与进化计算
2018-11-19 v1 计算与语言
机器学习
摘要
语言模型处于众多 NLP 问题的核心,一直为研究者所密切关注。神经语言模型具有分布式表示与长距离上下文的优势。凭借允许信息在网络内循环的特殊动力学,'循环神经网络'(RNN)成为神经语言建模的理想范式。长短期记忆(LSTM)架构解决了标准 RNN 在建模长距离上下文时的不足。尽管存在大量 RNN 变体,在 LSTM 节点中添加多个记忆单元的可能性却鲜有探索。在此我们提出一种用于 LSTM 的多单元节点架构,并研究其在神经语言建模中的适用性。所提出的多单元 LSTM 语言模型在著名的 Penn Treebank (PTB) 设定上优于最先进的结果。
引用
@article{arxiv.1811.06477,
title = {Multi-cell LSTM Based Neural Language Model},
author = {Thomas Cherian and Akshay Badola and Vineet Padmanabhan},
journal= {arXiv preprint arXiv:1811.06477},
year = {2018}
}
备注
7 pages including 5 figures