LoRA-Whisper：面向多语言语音识别的参数高效可扩展方案

Zheshu Song; Jianheng Zhuo; Yifan Yang; Ziyang Ma; Shixiong Zhang; Xie Chen

LoRA-Whisper：面向多语言语音识别的参数高效可扩展方案

音频与语音处理 2024-06-12 v1 人工智能计算与语言

作者: Zheshu Song , Jianheng Zhuo , Yifan Yang , Ziyang Ma , Shixiong Zhang , Xie Chen

摘要

近年来，多语言自动语音识别 (ASR) 取得了显著进展，这得益于端到端 (E2E) 模型和多语言数据集的规模化。尽管如此，多语言 ASR 仍面临两个主要挑战：语言干扰以及在不降低现有语言性能的前提下 incorporating 新语言的能力。本文提出 LoRA-Whisper，将 LoRA 矩阵引入 Whisper 用于多语言 ASR，有效缓解了语言干扰。Furthermore, 通过利用 LoRA 和语言之间的相似性，我们可以在保持原有语言一致性能的同时，为新语言提供更好的性能。实验在覆盖八种语言的真实任务上表明，我们提出的 LoRA-Whisper 在多语言 ASR 和语言扩展方面分别相对于基线系统实现了 18.5% 和 23.0% 的相对提升。

关键词

多语言语音识别 LoRA Whisper 参数高效语言扩展

引用

@article{arxiv.2406.06619,
  title  = {LoRA-Whisper: Parameter-Efficient and Extensible Multilingual ASR},
  author = {Zheshu Song and Jianheng Zhuo and Yifan Yang and Ziyang Ma and Shixiong Zhang and Xie Chen},
  journal= {arXiv preprint arXiv:2406.06619},
  year   = {2024}
}

备注

5 pages, 2 figures, conference

LoRA-Whisper：面向多语言语音识别的参数高效可扩展方案

摘要

关键词

引用

备注

相关论文