用于改进 RNN 语言模型的输入-输出门
计算与语言
2017-09-29 v2
摘要
本文提出了一种增强方法，用于改进现有循环神经网络（RNN）语言模型的输出层。我们将提出的方法称为输入-输出门（IOG）。IOG 具有极其简单的结构，因此可以轻松地与任何 RNN 语言模型相结合。我们在 Penn Treebank 和 WikiText-2 数据集上的实验表明，IOG 能够持续提升几种不同类型的当前顶尖 RNN 语言模型的性能。
引用
@article{arxiv.1709.08907,
title = {Input-to-Output Gate to Improve RNN Language Models},
author = {Sho Takase and Jun Suzuki and Masaaki Nagata},
journal= {arXiv preprint arXiv:1709.08907},
year = {2017}
}
备注
Accepted as a conference paper in IJCNLP 2017