面向低资源语言对的端到端码切换语音识别
计算与语言
2019-10-01 v2 音频与语音处理
摘要
尽管端到端（E2E）自动语音识别（ASR）取得了显著进展，针对低资源码切换（CS）语音的 E2E ASR 仍未得到充分研究。本工作中，我们描述了一种用于识别低资源语言与高资源语言混合的 CS 语音的 E2E ASR 流程。声学数据的低资源性对 E2E ASR 系统性能的阻碍比传统 ASR 系统更为严重。为缓解弗里斯兰语-荷兰语码切换语音档案转写中的此问题，我们集成了一套专门的译码方案，并利用基于神经网络的语言模型进行重打分，以更好地利用可用文本资源。我们首先引入多图译码方法，为每种单语与混合识别任务创建并行搜索空间，以最大化每种语言文本资源的利用。此外，使用经跨语言嵌入预训练并进一步以有限领域内 CS 文本适配的循环神经网络进行语言模型重打分。ASR 实验证明了所述技术在低资源场景下提升 E2E CS ASR 系统识别性能的有效性。
引用
@article{arxiv.1909.12681,
title = {End-to-End Code-Switching ASR for Low-Resourced Language Pairs},
author = {Xianghu Yue and Grandee Lee and Emre Yılmaz and Fang Deng and Haizhou Li},
journal= {arXiv preprint arXiv:1909.12681},
year = {2019}
}
备注
Accepted for publication at IEEE ASRU Workshop 2019