NTU Speechlab基于LLM的多语言语音识别系统用于Interspeech MLC-SLM Challenge 2025
计算与语言
2025-07-08 v2 音频与语音处理
摘要
本报告详细介绍了为Interspeech 2025 Multilingual Conversational Speech and Language Model (MLC-SLM)挑战赛开发的NTU Speechlab系统，其中我们取得了第5名的成绩。我们呈现了该多语言自动语音识别系统的全面分析，突出了模型架构、数据选择和训练策略等关键进展。特别是语言特定提示和模型平均技术在提升系统在多种语言上的性能方面发挥了重要作用。与初始基线系统相比，我们的最终模型将评估集合上的平均混合错误率从20.2%降低到10.6%，实现了绝对改进9.6%（相对改进48%）。我们的结果表明了该方法的有效性，并为未来的语音大语言模型提供了实用见解。
引用
@article{arxiv.2506.13339,
title = {NTU Speechlab LLM-Based Multilingual ASR System for Interspeech MLC-SLM Challenge 2025},
author = {Yizhou Peng and Bin Wang and Yi-Wen Chao and Ziyang Ma and Haoyang Zhang and Hexin Liu and Xie Chen and Eng Siong Chng},
journal= {arXiv preprint arXiv:2506.13339},
year = {2025}
}
备注
Accepted by Interspeech 2025 MLC-SLM challenge (5th place). System report