利用门控语言专家与课程训练构建高精度多语种ASR
计算与语言
2023-07-11 v2 音频与语音处理
摘要
我们提出门控语言专家与课程训练，以增强多语种transformer transducer模型，且推理时无需用户提供语言识别（LID）输入。我们的方法结合门控机制与LID损失，使transformer专家能够学习语言特定信息。通过将门控transformer专家与共享transformer层结合，我们构建多语种transformer块，并利用线性专家有效正则化联合网络。课程训练方案借助LID引导门控专家提升各自语言性能。在英西双语任务上的实验结果显示显著改进，与基线双语及单语模型相比平均相对词错率分别降低12.5%与7.3%。值得注意的是，我们的方法达到了使用oracle LID训练和推理的上界模型相当的性能。将我们的方法扩展至三语、四语与五语模型，揭示了与双语模型类似的优点，凸显其易于扩展至多语言。
引用
@article{arxiv.2303.00786,
title = {Building High-accuracy Multilingual ASR with Gated Language Experts and Curriculum Training},
author = {Eric Sun and Jinyu Li and Yuxuan Hu and Yimeng Zhu and Long Zhou and Jian Xue and Peidong Wang and Linquan Liu and Shujie Liu and Edward Lin and Yifan Gong},
journal= {arXiv preprint arXiv:2303.00786},
year = {2023}
}