利用ELECTRA进行ASR重打分与置信度估计
计算与语言
2021-10-06 v1 音频与语音处理
摘要
在自动语音识别（ASR）重打分中，应使用语言模型（LM）从n-best列表中选出错误最少的假设。然而，LM通常训练为最大化正确词序列的似然，而非检测ASR错误。我们提出一种利用ELECTRA直接检测错误的ASR重打分方法，ELECTRA原本是一种用于NLP任务的预训练方法。ELECTRA预训练为预测每个词是否被BERT替换，这可在大型文本语料上模拟ASR错误检测。为使该预训练更贴近ASR错误检测，我们进一步提出称为语音感知ELECTRA（P-ELECTRA）的ELECTRA扩展版本。在P-ELECTRA的预训练中，每个词由一个音素到词转换模型替换，该模型利用音素信息生成声学相似词。由于我们的重打分方法针对错误检测优化，它也可用于词级置信度估计。在Librispeech和TED-LIUM2语料上的实验评估表明，我们的ELECTRA重打分方法与常规重打分方法具有竞争力且推理更快。ELECTRA在置信度估计上也优于BERT，因为它不仅能在微调中还能在预训练中学会检测不适当词。
引用
@article{arxiv.2110.01857,
title = {ASR Rescoring and Confidence Estimation with ELECTRA},
author = {Hayato Futami and Hirofumi Inaguma and Masato Mimura and Shinsuke Sakai and Tatsuya Kawahara},
journal= {arXiv preprint arXiv:2110.01857},
year = {2021}
}
备注
Accepted in ASRU2021