基于噪声对比估计的双向神经网络语言模型训练
计算与语言
2016-02-26 v3
摘要
我们提出使用噪声对比估计(NCE)训练双向神经网络语言模型(NNLM)。实验在 PTB 数据集上的重打分任务中进行。结果表明，NCE 训练的双向 NNLM 优于通过常规最大似然训练训练的模型。但是（遗憾的是），它并未超越基线的单向 NNLM。
引用
@article{arxiv.1602.06064,
title = {On Training Bi-directional Neural Network Language Model with Noise Contrastive Estimation},
author = {Tianxing He and Yu Zhang and Jasha Droppo and Kai Yu},
journal= {arXiv preprint arXiv:1602.06064},
year = {2016}
}