多语言 DistilWhisper：基于语言特定专家的多任务语音模型高效蒸馏
计算与语言
2025-12-02 v4 声音
音频与语音处理
摘要
Whisper 是一个覆盖 99 种语言的多任务多语言语音模型。它在所覆盖语言的一个子集中取得了令人满意的自动语音识别（ASR）结果，但在数量不可忽略的欠代表语言上表现仍然不佳，这一问题在较小模型版本中更为严重。在本工作中，我们提出 DistilWhisper，一种能够弥合这些语言在 ASR 上的性能差距，同时保留多任务与多语言优势的方法。我们的方法包含两项关键策略：使用语言特定专家对 whisper-small 进行轻量级模块化 ASR 微调，以及从 whisper-large-v2 进行知识蒸馏。这种双重方法使我们能够有效提升 ASR 性能，同时保持从多任务多语言预训练继承而来的鲁棒性。结果表明，我们的方法比标准微调或 LoRA 适配器更为有效，在域内与域外测试集上均提升了目标语言的性能，且在推理时仅引入可忽略的参数开销。
引用
@article{arxiv.2311.01070,
title = {Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts},
author = {Thomas Palmeira Ferraz and Marcely Zanon Boito and Caroline Brun and Vassilina Nikoulina},
journal= {arXiv preprint arXiv:2311.01070},
year = {2025}
}
备注
Accepted and Presented at IEEE ICASSP 2024 (this is extended version)