仅使用单语数据实现端到端码切换语音识别的约束输出嵌入
计算与语言
2021-01-14 v2
摘要
码切换训练数据的缺乏是开发端到端码切换自动语音识别（ASR）模型的主要难题之一。在本工作中，我们提出一种仅使用单语数据训练改进端到端码切换 ASR 的方法。我们的方法鼓励单语语言的输出词元嵌入分布彼此相似，从而促使 ASR 模型易于在语言间进行码切换。具体而言，我们提出使用基于 Jensen-Shannon 散度和余弦距离的约束。前者将强制单语语言的输出嵌入具有相似分布，而后者仅使两个分布的质心彼此接近。实验结果证明了所提方法的高效性，在普通话-英语码切换 ASR 任务上取得了高达 4.5% 绝对混合错误率的改进。
引用
@article{arxiv.1904.03802,
title = {Constrained Output Embeddings for End-to-End Code-Switching Speech Recognition with Only Monolingual Data},
author = {Yerbolat Khassanov and Haihua Xu and Van Tung Pham and Zhiping Zeng and Eng Siong Chng and Chongjia Ni and Bin Ma},
journal= {arXiv preprint arXiv:1904.03802},
year = {2021}
}
备注
5 pages, 3 figures, accepted to INTERSPEECH 2019