利用噪声对比估计改进语言建模
计算与语言
2017-09-25 v1
摘要
当词汇量很大时，神经语言模型无法良好地扩展。噪声对比估计（NCE）是一种基于采样的方法，允许在词汇量很大的情况下进行快速学习。尽管NCE在神经机器翻译中表现出了有希望的性能，但它曾被认为是一种不成功的语言建模方法。对基于NCE的神经语言模型中超参数的充分研究也一直缺失。在本文中，我们展示了当神经网络的超参数被适当调整时，NCE可以成为神经语言建模中的一种成功方法。我们为NCE引入了“先搜索后收敛”的学习率调度策略，并设计了一种启发式方法来指定如何使用该调度。还展示了其他重要超参数（如dropout率和权重初始化范围）的影响。我们表明，经过适当调优的基于NCE的神经语言模型在一个流行的基准测试上优于最先进的单模型方法。
引用
@article{arxiv.1709.07758,
title = {Improving Language Modelling with Noise-contrastive estimation},
author = {Farhana Ferdousi Liza and Marek Grzes},
journal= {arXiv preprint arXiv:1709.07758},
year = {2017}
}