ASR中循环神经网络语言模型的无监督高效词表扩展
计算与语言
2021-07-22 v1 音频与语音处理
摘要
在自动语音识别(ASR)系统中,循环神经网络语言模型(RNNLM)用于对词网格或N最佳假设列表进行重打分。由于训练代价高昂,RNNLM的词表仅容纳最频繁词的小规模候选列表。如果输入语音包含许多候选列表外(OOS)词,这会导致次优性能。一种有效的解决方案是增大候选列表规模并重新训练整个网络,但这效率极低。因此,我们提出一种高效方法,在不产生昂贵重训练且不使用额外训练数据的情况下扩展预训练RNNLM的候选列表集。我们的方法利用RNNLM的结构,其可解耦为三部分:输入投影层、中间层和输出投影层。具体而言,我们的方法扩展投影层中的词嵌入矩阵并保持中间层不变。在该方法中,只要OOS词在两个嵌入空间中被恰当建模,预训练RNNLM的功能将被正确维持。我们提出通过从合适的候选列表内词借用语言知识来对OOS词建模。此外,我们提出以无监督方式通过从ASR输出中自动提取OOS词来生成用于扩展词表的列表。
引用
@article{arxiv.1806.10306,
title = {Unsupervised and Efficient Vocabulary Expansion for Recurrent Neural Network Language Models in ASR},
author = {Yerbolat Khassanov and Eng Siong Chng},
journal= {arXiv preprint arXiv:1806.10306},
year = {2021}
}
备注
5 pages, 1 figure, accepted at INTERSPEECH 2018