基于双语说话人数据的说话人空间变换生成多语言语音
计算与语言
2020-04-13 v1 机器学习
声音
音频与语音处理
摘要
我们展示了迈向双语文本转语音的进展，该语音能够将单语语音转换为说第二种语言，同时保持说话人语音质量。我们证明双语说话人嵌入空间对每种语言包含独立的分布，并且由说话人嵌入生成的说话人空间中的简单变换可用于控制合成语音在某一语言中的口音程度。同一变换甚至可应用于单语说话人。在我们的实验中使用了英-西(墨西哥)双语说话人的说话人数据，目标是使英语说话人能说西班牙语、西班牙语说话人能说英语。我们发现该简单变换足以将语音从一种语言转换到另一种语言，且具有高度自然度。在一项案例中，变换后的语音在听感测试中优于母语语音。实验进一步表明该变换保留了原始语音的诸多特征。口音呈现的程度可被控制，且自然度在一系列口音值范围内相对一致。
引用
@article{arxiv.2004.04972,
title = {Generating Multilingual Voices Using Speaker Space Translation Based on Bilingual Speaker Data},
author = {Soumi Maiti and Erik Marchi and Alistair Conkie},
journal= {arXiv preprint arXiv:2004.04972},
year = {2020}
}
备注
Accepted to IEEE ICASSP 2020