具有内部语言模型先验校正的 Librispeech Transducer 模型
计算与语言
2021-06-15 v2 人工智能
机器学习
摘要
我们展示了我们在 Librispeech 上的 transducer 模型。我们研究了通过浅融合引入外部语言模型（LM）并减去估计的内部 LM 的变体。这可以通过贝叶斯解释来证明合理性，其中 transducer 模型的先验由估计的内部 LM 给出。内部 LM 的减去为我们带来了相对于普通浅融合超过 14% 的相对提升。我们的 transducer 对非空白标签具有独立的概率分布，从而允许与外部 LM 更轻松地结合，以及更轻松地估计内部 LM。我们还额外注意将外部 LM 的句末（EOS）概率包含进最后的空白概率中，这进一步提升了性能。我们所有的代码和配置均已公开。
引用
@article{arxiv.2104.03006,
title = {Librispeech Transducer Model with Internal Language Model Prior Correction},
author = {Albert Zeyer and André Merboldt and Wilfried Michel and Ralf Schlüter and Hermann Ney},
journal= {arXiv preprint arXiv:2104.03006},
year = {2021}
}
备注
accepted at Interspeech 2021