CAMEL：基于交叉注意力的混合专家与语言偏置的语码转换语音识别
声音
2025-01-10 v2 音频与语音处理
摘要
语码转换自动语音识别（ASR）旨在准确转录包含两种或多种语言的语音。为了更好地捕捉特定语言的语音表征并解决语码转换ASR中的语言混淆问题，通常采用混合专家（MoE）架构和额外的语言分割（LD）解码器。然而，大多数研究仍停留在简单的加权求和或拼接等操作来融合特定语言的语音表征，在整合语言偏置信息的增强方面留下了重要的探索空间。在本文中，我们提出了CAMEL，一种基于交叉注意力的MoE和语言偏置方法用于语码转换ASR。具体地，在每个MoE层之后，我们利用交叉注意力融合特定语言的语音表征，发挥其强大的上下文建模能力。此外，我们设计了一种基于源注意力的机制，将LD解码器输出的语言信息融入文本嵌入中。实验结果表明，我们的方法在SEAME、ASRU200和ASRU700+LibriSpeech460中英文语码转换ASR数据集上达到了最先进的性能。
引用
@article{arxiv.2412.12760,
title = {CAMEL: Cross-Attention Enhanced Mixture-of-Experts and Language Bias for Code-Switching Speech Recognition},
author = {He Wang and Xucheng Wan and Naijun Zheng and Kai Liu and Huan Zhou and Guojian Li and Lei Xie},
journal= {arXiv preprint arXiv:2412.12760},
year = {2025}
}
备注
Accepted by ICASSP 2025. 5 pages, 2 figures