HuBERT-EE:用于高效语音识别的早退出 HuBERT
计算与语言
2024-06-21 v2 声音
音频与语音处理
摘要
使用 Hidden-unit BERT (HuBERT) 和 wav2vec 2.0 等自监督模型进行预训练,为自动语音识别(ASR)带来了显著改进。然而,这些模型通常需要高昂的计算成本才能获得出色性能,从而降低了推理速度。为提高模型效率,我们为 ASR 引入了一种早退出方案,即 HuBERT-EE,它允许模型动态停止推理。在 HuBERT-EE 中,在中间层添加了多个早退出分支。当早退出分支的中间预测置信度较高时,模型停止推理,并可提前返回相应结果。我们研究了合适的早退出准则与微调策略,以有效执行早退出。在 LibriSpeech 上的实验结果表明,HuBERT-EE 能够加速 HuBERT 的推理,同时平衡性能与延迟之间的权衡。
引用
@article{arxiv.2204.06328,
title = {HuBERT-EE: Early Exiting HuBERT for Efficient Speech Recognition},
author = {Ji Won Yoon and Beom Jun Woo and Nam Soo Kim},
journal= {arXiv preprint arXiv:2204.06328},
year = {2024}
}
备注
Accepted by INTERSPEECH 2024