具有稳定路由的动态多专家投影器用于多语言语音识别
计算与语言
2026-01-28 v1
摘要
基于LLM的ASR的最新进展通过轻量级投影器将冻结的语音编码器与大语言模型（LLM）连接起来。虽然在单语言设置中有效，但单个投影器难以捕获多语言ASR所需的多样化声学到语义映射。为了解决这个问题，我们提出了SMEAR-MoE，一种稳定的混合专家投影器，它确保所有专家都有密集的梯度流，防止专家崩溃，同时实现跨语言共享。我们系统地比较了四种印度语言（印地语、马拉地语、泰米尔语、泰卢固语）上的单体、静态多投影器和动态MoE设计。我们的SMEAR-MoE取得了强劲的性能，与单投影器基线相比，相对词错误率（WER）降低高达7.6%，同时保持了相当的运行效率。对专家路由的分析进一步显示了语言学上有意义的分工，相关语言共享专家。这些结果表明，稳定的多专家投影器是实现可扩展和鲁棒的多语言ASR的关键。
引用
@article{arxiv.2601.19451,
title = {Dynamic Multi-Expert Projectors with Stabilized Routing for Multilingual Speech Recognition},
author = {Isha Pandey and Ashish Mittal and Vartul Bahuguna and Ganesh Ramakrishnan},
journal= {arXiv preprint arXiv:2601.19451},
year = {2026}
}