基于监督学习的统一流式与非流式代码切换语音识别自动化估计器选择
声音
2024-06-27 v1 机器学习
音频与语音处理
摘要
本工作提出一种基于 Switch-Conformer 的混合专家系统，命名为 SC-MoE，用于统一的流式和非流式代码切换（CS）自动语音识别（ASR）。我们设计了一个由三个语言专家构成的流式混合专家层，分别对应普通话、英文和空白标记，并配备一个带有连续性时间分类（CTC）损失的语言识别（LID）网络作为编码器中的路由器，以实现实时流式 CS ASR 系统。为进一步利用文本中嵌入的语言信息，我们还在 SC-MoE 的解码器中引入混合专家层。此外，我们在编码器和解码器中的每个混合专家层引入路由器，并实现更好的识别性能。实验结果表明，SC-MoE 在计算效率相当的情况下，显著优于基线模型在代码切换 ASR 性能上。
引用
@article{arxiv.2406.18021,
title = {SC-MoE: Switch Conformer Mixture of Experts for Unified Streaming and Non-streaming Code-Switching ASR},
author = {Shuaishuai Ye and Shunfei Chen and Xinhui Hu and Xinkang Xu},
journal= {arXiv preprint arXiv:2406.18021},
year = {2024}
}
备注
Accepted by InterSpeech 2024; 5 pages, 2 figures