神经语言模型与N元语言模型的轻量级自适应混合
计算与语言
2018-10-29 v2
摘要
性能最佳的语言模型通常是神经语言模型与n元文法(n-grams)的集成，这种情况十分常见。在这项工作中，我们提出一种改进这两种模型组合方式的方法。通过使用一个小型网络来预测两个模型之间的混合权重，我们在每个时间步自适应地调整它们的相对重要性。由于门控网络很小，它能在少量留出数据上快速训练，并且在打分时不增加额外开销。我们在One Billion Word基准上进行的实验表明，相较于最先进的集成方法取得了显著改进，且无需对基础模块重新训练。
引用
@article{arxiv.1804.07705,
title = {Lightweight Adaptive Mixture of Neural and N-gram Language Models},
author = {Anton Bakhtin and Arthur Szlam and Marc'Aurelio Ranzato and Edouard Grave},
journal= {arXiv preprint arXiv:1804.07705},
year = {2018}
}