CycleGAN-VC3：检验并改进 CycleGAN-VC 用于梅尔谱转换
声音
2020-10-23 v1 机器学习
音频与语音处理
机器学习
摘要
非平行语音转换（VC）是一种无需使用平行语料即可学习源语音与目标语音间映射的技术。近来，循环一致对抗网络（CycleGAN）-VC 与 CycleGAN-VC2 在该问题上展现出有前景的结果，并已被广泛用作基准方法。然而，由于 CycleGAN-VC/VC2 用于梅尔谱转换的有效性尚不明晰，即便对比方法以梅尔谱作为转换目标，它们通常仍被用于梅尔倒谱转换。为此，我们检验了 CycleGAN-VC/VC2 对梅尔谱转换的适用性。通过初步实验，我们发现其直接应用会破坏转换过程中应保留的时频结构。为补救此问题，我们提出 CycleGAN-VC3，一种融入时频自适应归一化（TFAN）的 CycleGAN-VC2 改进版。利用 TFAN，我们可在反映源梅尔谱时频结构的同时调整转换特征的尺度与偏置。我们在跨性别与同性别非平行 VC 上评估了 CycleGAN-VC3。自然度与相似度的主观评价表明，对每一 VC 配对，CycleGAN-VC3 均优于或可与两类 CycleGAN-VC2 相竞争，其中一类应用于梅尔倒谱，另一类应用于梅尔谱。音频样本见 http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc3/index.html。
引用
@article{arxiv.2010.11672,
title = {CycleGAN-VC3: Examining and Improving CycleGAN-VCs for Mel-spectrogram Conversion},
author = {Takuhiro Kaneko and Hirokazu Kameoka and Kou Tanaka and Nobukatsu Hojo},
journal= {arXiv preprint arXiv:2010.11672},
year = {2020}
}
备注
Accepted to Interspeech 2020. Project page: http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc3/index.html