基于 CycleGAN 的跨语言语音转换中的频谱与韵律转换

跨语言语音转换旨在将源说话人的语音转换为听起来像目标说话人的语音，且源说话人与目标说话人使用不同语言。它依赖于来自两种不同语言的非平行训练数据，因此比单语言语音转换更具挑战性。以往关于跨语言语音转换的研究主要集中于频谱转换并结合用于 F0 转移的线性变换。然而，作为重要的韵律因素，F0 本质上是分层的，因此仅使用线性方法进行转换是不够的。我们提出使用连续小波变换（CWT）分解进行 F0 建模。CWT 提供了一种将信号分解为不同时间尺度的方法，这些尺度以不同时间分辨率解释韵律。我们还提出分别训练两个 CycleGAN 流水线用于频谱和韵律映射。通过这种方式，我们消除了对任意两种语言的平行数据以及任何对齐技术的需求。实验结果表明，我们提出的 Spectrum-Prosody-CycleGAN 框架在主观评价中优于 Spectrum-CycleGAN 基线。据我们所知，这是首个关于跨语言语音转换中韵律的研究。