中英混合语音识别中的码切换文本生成与注入
音频与语音处理
2023-03-21 v1 计算与语言
声音
摘要
码切换语音是指在单次话语中混合两种或多种语言的一种表达方式。由于数据匮乏，对此类语音采用端到端（E2E）建模的自动语音识别（ASR）可能是一项具有挑战性的任务。在本研究中，我们探究文本生成与注入，以提升工业界常用流式模型 Transformer-Transducer（T-T）在中英码切换语音识别中的性能。我们首先提出一种生成码切换文本数据的策略，随后研究通过语音合成（TTS）转换显式地将生成文本注入 T-T 模型，或通过绑定语音与文本隐空间隐式地注入。在包含 1800 小时真实中英码切换语音的数据集上训练的 T-T 模型的实验结果表明，我们的生成码切换文本注入方法显著提升了 T-T 模型性能，即在三个评测集上平均实现 16% 的相对基于词符的错误率（TER）降低，且绑定语音与文本隐空间的方法在包含与训练集更同质数据的评测集上优于 TTS 转换方法。
引用
@article{arxiv.2303.10949,
title = {Code-Switching Text Generation and Injection in Mandarin-English ASR},
author = {Haibin Yu and Yuxuan Hu and Yao Qian and Ma Jin and Linquan Liu and Shujie Liu and Yu Shi and Yanmin Qian and Edward Lin and Michael Zeng},
journal= {arXiv preprint arXiv:2303.10949},
year = {2023}
}
备注
Accepted by ICASSP 2023