WACO：面向语音翻译的词对齐对比学习
计算与语言
2023-07-10 v3 声音
音频与语音处理
摘要
端到端语音翻译（E2E ST）旨在将源语音直接翻译成目标文本。当仅有极少量语音-文本数据用于训练时，现有的语音翻译方法表现不佳。我们观察到，语音翻译模型的性能与其语音和源转录文本之间的嵌入相似度密切相关。在本文中，我们提出了词对齐对比学习（WACO），这是一种用于极低资源语音到文本翻译的简单而有效的方法。我们的核心思想是通过对比学习桥接语音和文本两种模态的词级表示。我们在广泛使用的语音翻译基准数据集 MuST-C 以及 IWSLT 2023 的低资源方向马耳他语-英语上评估了 WACO 和其他方法。实验结果表明，仅使用 1 小时的平行语音翻译数据，WACO 就比最佳基线方法高出 9 个以上的 BLEU 分数。代码可在 https://github.com/owaski/WACO 获取。
引用
@article{arxiv.2212.09359,
title = {WACO: Word-Aligned Contrastive Learning for Speech Translation},
author = {Siqi Ouyang and Rong Ye and Lei Li},
journal= {arXiv preprint arXiv:2212.09359},
year = {2023}
}
备注
ACL 2023 Poster