TranSentence：通过语言无关的句子级语音编码实现无需语言平行数据的语音到语音翻译
计算与语言
2024-03-21 v1 声音
音频与语音处理
摘要
尽管语音到语音翻译领域取得了显著进展，但传统模型在训练时仍需要源语言和目标语言之间的语言平行语音数据。本文介绍了TranSentence，一种无需语言平行语音数据的新型语音到语音翻译方法。为实现这一目标，我们首先采用了一种语言无关的句子级语音编码，该编码能够捕获语音的语义信息，而不受语言影响。然后，我们训练模型，基于从预训练于多种语言的语言无关句子级语音编码器获得的编码嵌入来生成语音。通过这种方法，尽管仅在目标语言的单语数据上进行训练，我们仍能在推理阶段利用来自源语言语音的语言无关语音嵌入生成目标语言语音。此外，我们将TranSentence扩展到多语言语音到语音翻译。实验结果表明，TranSentence优于其他模型。
引用
@article{arxiv.2401.12992,
title = {TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data},
author = {Seung-Bin Kim and Sang-Hoon Lee and Seong-Whan Lee},
journal= {arXiv preprint arXiv:2401.12992},
year = {2024}
}
备注
Accepted by ICASSP 2024