BLR-MoE：提高语言路由混合专家模型以实现域无关的多语言端到端语音识别
计算与语言
2025-01-23 v1 声音
音频与语音处理
摘要
最近，混合专家（MoE）架构（如 LR-MoE）常用于缓解多语言语音识别（MASR）任务中语言混淆的问题。然而，在不匹配域的情况下，它仍然面临语言混淆问题。本文将 LR-MoE 中的语言混淆分解为自注意力和路由器中的混淆。为了缓解自注意力中的语言混淆，本文基于 LR-MoE，提出在 MASR 中应用注意力-MoE 架构。 在新的架构中，MoE 不仅用于前馈网络（FFN），也用于自注意力。此外，为了提高基于语言识别（LID）路由器在语言混淆方面的鲁棒性，本文提出专家修剪和路由器增强方法。结合上述方法，我们得到了提高语言路由 MoE（BLR-MoE）架构。我们在 10,000 小时 MASR 数据集上验证了所提出 BLR-MoE 的有效性。
引用
@article{arxiv.2501.12602,
title = {BLR-MoE: Boosted Language-Routing Mixture of Experts for Domain-Robust Multilingual E2E ASR},
author = {Guodong Ma and Wenxuan Wang and Lifeng Zhou and Yuting Yang and Yuke Li and Binbin Du},
journal= {arXiv preprint arXiv:2501.12602},
year = {2025}
}
备注
Accepted to IEEE ICASSP 2025