从语音中学习歌唱

我们提出一种算法，仅给定目标说话人的正常语音样本，即可合成高质量的该说话人歌唱声音。所提算法首先将语音与歌唱合成整合入统一框架，并学习可在语音与歌唱合成任务间共享的通用说话人嵌入。具体而言，在统一训练框架中，通过语音合成目标从正常语音学到的说话人嵌入，与通过歌唱合成目标从歌唱样本学到的嵌入共享。这使得所学说话人嵌入成为说话与歌唱的可迁移表征。我们在歌声转换任务上评估所提算法，该任务将原始歌唱的内容覆盖以仅从正常语音样本学到的另一说话人声音音色。我们的实验表明，仅给定目标说话人的正常语音样本，所提算法即可生成与其声音高度相似的高质量歌唱声。我们相信所提算法将为更广泛用户与应用开启歌唱合成与转换的新机遇。