面向多语言与语码转换语音识别的语言路由混合专家模型
声音
2023-07-17 v2 音频与语音处理
摘要
针对单语与语码转换语音的多语言语音识别是一项具有挑战性的任务。近来，基于混合专家（MoE）的许多工作在多语言与语码转换 ASR 中取得了良好进展，但随着支持语言数量的增加呈现出巨大的计算复杂度。在本工作中，我们提出一种计算高效的网络，称为语言路由混合专家（LR-MoE），用于多语言与语码转换 ASR。LR-MoE 通过语言专家混合（MLE）提取语言特定表示，并由帧级语言路由机制引导其学习。权重共享的帧级语言识别（LID）网络作为每个 MoE 层的共享预路由器被联合训练。实验表明，所提方法以相当的计算效率显著优于基线，提升了多语言与语码转换语音识别性能。
引用
@article{arxiv.2307.05956,
title = {Language-Routing Mixture of Experts for Multilingual and Code-Switching Speech Recognition},
author = {Wenxuan Wang and Guodong Ma and Yuke Li and Binbin Du},
journal= {arXiv preprint arXiv:2307.05956},
year = {2023}
}
备注
To appear in Proc. INTERSPEECH 2023, August 20-24, 2023, Dublin, Ireland