神经网络语言模型中的未来词上下文
计算与语言
2017-08-21 v1
摘要
近来，双向循环网络语言模型（bi-RNNLMs）在一系列语音识别任务上已被证明优于标准的单向循环神经网络语言模型（uni-RNNLMs）。这表明，超越词历史的未来词上下文信息可能是有用的。然而，bi-RNNLMs 带来了诸多挑战，因为它们利用了完整的过去和未来词上下文信息。这影响了训练效率及其在词格重打分框架内的使用。本文通过提出一种新颖的神经网络结构——后继词 RNNLM（su-RNNLMs）来解决这些问题。该模型并非使用循环单元来捕获完整的未来词上下文，而是使用前馈单元来建模有限数量的后继未来词。此模型可以比 bi-RNNLMs 更高效地训练，并且也可用于词格重打分。在会议转录任务（AMI）上的实验结果表明，所提出的模型始终优于 uni-RNNLMs，并且在 N-best 重打分中与 bi-RNNLMs 相比仅有轻微的性能下降。此外，使用词格重打分和后续的混淆网络解码可以获得性能提升。
引用
@article{arxiv.1708.05592,
title = {Future Word Contexts in Neural Network Language Models},
author = {Xie Chen and Xunying Liu and Anton Ragni and Yu Wang and Mark Gales},
journal= {arXiv preprint arXiv:1708.05592},
year = {2017}
}
备注
Submitted to ASRU2017