LibriS2S：一个德英语音到语音翻译语料库

近来，语音到文本翻译领域的兴趣日益增长，并带来了该领域的惊人进展。相比之下，尽管对克服语言障碍至关重要，语音到语音翻译领域的活动仍然有限。我们认为限制因素之一是适当训练数据的可用性。我们通过创建LibriS2S来解决此问题，据我们所知这是首个公开可用的德语与英语之间的语音到语音训练语料库。对于该语料库，我们使用独立创建的德语和英语音频，从而在两种语言中对文本实现无偏发音。这允许创建一种新的文本到语音与语音到语音翻译模型，其直接基于源语言发音学习生成语音信号。利用所建语料库，我们基于近期提出的FastSpeech 2模型之例提出文本到语音模型，该模型整合了源语言信息。我们通过调整模型以将源语音的音高、能量或转录文本等信息作为额外输入来实现这一点。