BA-MoE：用于码切换语音识别的边界感知混合专家适配器
声音
2023-10-10 v2 音频与语音处理
摘要
基于混合专家（mixture-of-experts）的模型利用语言专家有效提取语言特定表示，已较好应用于码切换自动语音识别。然而，由于跨语言发音相似可能导致多语言建模低效及语言边界估计不准，仍有较大改进空间。为消除这些缺陷，我们提出一种跨层语言适配器与边界感知训练方法，即边界感知混合专家（BA-MoE）。具体而言，我们引入语言特定适配器以分离语言特定表示，并采用统一门控层在各编码器层内融合表示。其次，我们计算各语言特定适配器均值输出的语言适配损失，以改进适配器模块的语言特定表示学习。此外，我们利用边界感知预测器学习边界表示，以应对语言边界混淆。我们的方法取得显著性能提升，在ASRU 2019中英码切换挑战数据集上相较基线将混合错误率降低16.55%。
引用
@article{arxiv.2310.02629,
title = {BA-MoE: Boundary-Aware Mixture-of-Experts Adapter for Code-Switching Speech Recognition},
author = {Peikun Chen and Fan Yu and Yuhao Lian and Hongfei Xue and Xucheng Wan and Naijun Zheng and Huan Zhou and Lei Xie},
journal= {arXiv preprint arXiv:2310.02629},
year = {2023}
}
备注
Accepted by ASRU2023