CrossVoice：利用迁移学习保留跨语言韵律的级联式语音到语音翻译
计算与语言
2024-06-19 v2 声音
音频与语音处理
摘要
本文介绍了CrossVoice，一个新颖的基于级联的语音到语音翻译（S2ST）系统，它采用先进的ASR、MT和TTS技术，并通过迁移学习实现跨语言韵律保留。我们进行了全面的实验，将CrossVoice与直接S2ST系统进行比较，结果显示在Fisher Es-En、VoxPopuli Fr-En等任务上BLEU分数有所提高，并且在基准数据集CVSS-T和IndicTTS上韵律保留效果更好。CrossVoice合成的语音在基准测试中的平均意见得分为3.75分（满分4分），与人类语音非常接近，突显了级联系统和迁移学习在具有韵律迁移的多语言S2ST中的有效性。
引用
@article{arxiv.2406.00021,
title = {CrossVoice: Crosslingual Prosody Preserving Cascade-S2ST using Transfer Learning},
author = {Medha Hira and Arnav Goel and Anubha Gupta},
journal= {arXiv preprint arXiv:2406.00021},
year = {2024}
}
备注
8 pages, Accepted at ICLR 2024 - Tiny Track