利用kNN-CTC和门控单语数据存储改进零样本中英代码切换语音识别
计算与语言
2025-01-20 v5 声音
音频与语音处理
摘要
kNN-CTC模型已被证明对单语自动语音识别(ASR)有效。然而，将其直接应用于代码切换等多语言场景会带来挑战。尽管存在性能提升的潜力，但使用单一双语数据存储的kNN-CTC模型可能会无意中引入来自另一种语言的不良噪声。为解决此问题，我们提出了一种新颖的基于kNN-CTC的代码切换ASR(CS-ASR)框架，该框架采用双单语数据存储和门控数据存储选择机制来减少噪声干扰。我们的方法为每帧解码选择合适的数据存储，确保将特定语言信息注入ASR过程。我们将此框架应用于最先进的基于CTC的模型，开发了先进的CS-ASR系统。大量实验证明了我们的门控数据存储机制在提升零样本中英CS-ASR性能方面的显著有效性。
引用
@article{arxiv.2406.03814,
title = {Improving Zero-Shot Chinese-English Code-Switching ASR with kNN-CTC and Gated Monolingual Datastores},
author = {Jiaming Zhou and Shiwan Zhao and Hui Wang and Tian-Hao Zhang and Haoqin Sun and Xuechen Wang and Yong Qin},
journal= {arXiv preprint arXiv:2406.03814},
year = {2025}
}
备注
Accepted by ICASSP 2025