用于改进低资源语音识别的数据增强的跨语言映射学习
计算与语言
2023-06-16 v1 声音
音频与语音处理
摘要
利用跨语言资源是补偿低资源语言数据稀缺性的有效方法。最近，提出了一种新颖的多语言模型融合技术，其中训练一个模型来学习跨语言声学-语音相似度作为映射函数。然而，手工词典已被用于训练混合DNN-HMM ASR系统。为消除此依赖，我们扩展了可学习跨语言映射的概念以用于端到端语音识别。此外，映射模型被用于在不使用平行数据的情况下将源语言音译为目标语言。最后，源音频及其音译被用于数据增强以重新训练目标语言ASR。结果表明，任何源语言ASR模型均可用于低资源目标语言识别，随后使用所提映射模型。此外，数据增强相对于基线单语模型带来了高达5%的相对增益。
引用
@article{arxiv.2306.08577,
title = {Learning Cross-lingual Mappings for Data Augmentation to Improve Low-Resource Speech Recognition},
author = {Muhammad Umar Farooq and Thomas Hain},
journal= {arXiv preprint arXiv:2306.08577},
year = {2023}
}
备注
Accepted for Interspeech 2023