用于端到端语音识别模型文本自适应的快速准确因子化神经转导器
计算与语言
2023-02-24 v2 声音
音频与语音处理
摘要
神经转导器因其天然的流式能力，已成为最流行的端到端语音识别模型。然而，利用仅文本数据对其进行自适应颇具挑战。因子化神经转导器（FNT）模型被提出以缓解此问题。FNT 在仅文本自适应数据上改善的自适应能力，是以相比标准神经转导器模型精度下降为代价的。我们提出若干方法来提升 FNT 模型的性能。它们包括：训练期间加入 CTC 准则、自适应期间加入 KL 散度损失、使用预训练语言模型初始化词汇预测器，以及通过词汇预测器与 n-gram 语言模型插值的高效自适应方法。这些方法的组合相较标准 FNT 模型实现了 9.48% 的相对词错率降低。此外，词汇预测器与 n-gram 插值极大提升了自适应速度，且自适应性能令人满意。
引用
@article{arxiv.2212.01992,
title = {Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models},
author = {Rui Zhao and Jian Xue and Partha Parthasarathy and Veljko Miljanic and Jinyu Li},
journal= {arXiv preprint arXiv:2212.01992},
year = {2023}
}