LT-LM：一种用于单次词格重打分的非自回归语言模型
音频与语音处理
2021-04-07 v1 计算与语言
机器学习
摘要
基于神经网络的语言模型常用于重打分方法以提升现代自动语音识别（ASR）系统的质量。现有多数方法计算开销大，因为它们使用自回归语言模型。我们提出一种新颖的重打分方法，其在单次模型调用中处理整个词格。我们重打分策略的关键特征是新颖的非自回归词格 Transformer 语言模型（LT-LM）。该模型将整个词格作为输入，并为每条弧预测一个新的语言分数。此外，我们提出人工词格生成方法，以在 LT-LM 训练过程中融入大量文本数据。我们的单次重打分在实验中比其他重打分方法快数个数量级。它比剪枝 RNNLM 词格重打分和 N-best 重打分快 300 倍以上，而在 WER 方面略逊一筹。
引用
@article{arxiv.2104.02526,
title = {LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring},
author = {Anton Mitrofanov and Mariya Korenevskaya and Ivan Podluzhny and Yuri Khokhlov and Aleksandr Laptev and Andrei Andrusenko and Aleksei Ilin and Maxim Korenevsky and Ivan Medennikov and Aleksei Romanenko},
journal= {arXiv preprint arXiv:2104.02526},
year = {2021}
}
备注
Submitted to InterSpeech 2021