CTC-GMM: 基于CTC引导的模态匹配实现快速准确的流式语音翻译
计算与语言
2024-10-08 v1 人工智能
音频与语音处理
摘要
如果使用大量源语言配对音频和目标语言书面文本来开发流式语音翻译（ST）模型，可以实现高精度和低延迟。然而，由于人工ST数据标注成本高昂，这些目标语言的文本标签通常是伪标签。在本文中，我们介绍了一种名为连接时序分类引导的模态匹配（CTC-GMM）的方法，该方法通过利用大量的机器翻译（MT）文本数据来增强流式ST模型。该技术采用CTC将语音序列压缩成与相应文本序列匹配的紧凑嵌入序列，从而允许我们利用来自MT语料库的匹配{源语言-目标语言}文本对来进一步优化流式ST模型。我们在FLEURS和CoVoST2上的评估表明，CTC-GMM方法可以分别将翻译准确率相对提高13.9%和6.4%，同时在GPU上将解码速度提升59.7%。
引用
@article{arxiv.2410.05146,
title = {CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation},
author = {Rui Zhao and Jinyu Li and Ruchao Fan and Matt Post},
journal= {arXiv preprint arXiv:2410.05146},
year = {2024}
}
备注
Accepted by IEEE Spoken Language Technology Workshop (SLT 2024)