Qwen 与 Gemma 与 Whisper 集成：多语言 SpeechLLM 系统中的比较研究
计算与语言
2025-07-08 v2 声音
音频与语音处理
摘要
本文介绍了我们为 MLC-SLM Challenge 2025 所构建的系统，聚焦于大语言模型（LLM）驱动的多语言语音识别与语言建模。我们的方案将微调后的 Whisper-large-v3 编码器与高效投影架构及多种解码器配置相结合。我们采用三阶段训练方法，逐步优化编码器、投影层和 LLM 组件。我们的系统在使用 Gemma3-12B 作为解码器时获得了 16.63% 的私有测试平均 WER/CER 结果，使用 Qwen2.5-7B 作为解码器时获得了 18.6% 的结果。
引用
@article{arxiv.2506.13596,
title = {Qwen vs. Gemma Integration with Whisper: A Comparative Study in Multilingual SpeechLLM Systems},
author = {Tuan Nguyen and Long-Vu Hoang and Huy-Dat Tran},
journal= {arXiv preprint arXiv:2506.13596},
year = {2025}
}
备注
Accepted to Interspeech MLCSLM-2025 Workshop