用于跨语言文本转语音与语音转换的潜在语言嵌入
音频与语音处理
2020-10-09 v1 计算与语言
声音
摘要
由于近期提出的语音克隆系统 NAUTILUS 能够利用无转录语音克隆未见过的声音，我们探究了使用它来开发统一的跨语言 TTS/VC（文本转语音/语音转换）系统的可行性。跨语言语音生成是指用目标说话人的声音生成其原本不会说的语言的语音片段的场景。这类系统不仅仅是克隆目标说话人的声音，而是本质上创造一种在特定框架下可视为优于原声的新声音。通过使用训练良好的英语潜在语言嵌入为语音转换挑战赛 2020 中收录的若干德语、芬兰语和普通话说话人创建跨语言 TTS 与 VC 系统，我们表明我们的方法不仅能创建具有高说话人相似度的跨语言 VC，还可无缝用于跨语言 TTS 而无需执行任何额外步骤。然而，感知自然度的主观评价在不同目标说话人之间似乎存在差异，这是未来改进的一个方面。
引用
@article{arxiv.2010.03717,
title = {Latent linguistic embedding for cross-lingual text-to-speech and voice conversion},
author = {Hieu-Thi Luong and Junichi Yamagishi},
journal= {arXiv preprint arXiv:2010.03717},
year = {2020}
}
备注
Accepted to Voice Conversion Challenge 2020 Online Workshop