基于 CTC 的多语言语音识别中一种语言无关的层次化 LoRA-MoE 架构
计算与语言
2026-03-17 v2 声音
音频与语音处理
摘要
大规模多语言语音识别（mASR）模型如 Whisper 虽实现强性能，但计算与延迟成本高，限制其在资源受限边缘设备上的部署。本研究提出一种基于 CTC 架构的轻量级、语言无关的多语言语音识别系统，实现域适应。具体而言，引入语言无关层次化 LoRA-MoE（HLoRA）框架集成于 mHuBERT-CTC 模型中，实现通过 LID-后验驱动的 LoRA 路由进行端到端解码。该层次化设计包含用于学习语言无关声学表征的多语言共享 LoRA，以及用于建模语言相关特征的语言特定 LoRA 专家。 proposed 路由机制无需推理阶段的先验语言身份信息或显式语言标签，实现真正的语言无关解码。在 MSR-86K 数据集和 MLC-SLM 2025 挑战赛数据集上的实验表明，HLoRA 在减少 RTF 方面分别实现了 11.7% 和 8.2% 的降低，性能相当于两阶段推理方法，为低资源 mASR 应用提供了更高的解码效率。
引用
@article{arxiv.2601.00557,
title = {A Language-Agnostic Hierarchical LoRA-MoE Architecture for CTC-based Multilingual ASR},
author = {Yuang Zheng and Dongxu Chen and Yuxiang Mei and Dongxing Xu and Jie Chen and Yanhua Long},
journal= {arXiv preprint arXiv:2601.00557},
year = {2026}
}
备注
5 pages, submitted to IEEE Communications Letters