CinC-GAN 用于耳语到正常语音转换的有效 F0 预测
音频与语音处理
2020-08-19 v1 机器学习
摘要
近来，基于生成对抗网络（GAN）的方法在语音转换与耳语到正常语音（WHSP2SPCH）转换中展现出卓越性能。WHSP2SPCH 转换的关键挑战之一是基频（F0）的预测。近来，作者提出了用于 WHSP2SPCH 转换的最优方法循环一致生成对抗网络（CycleGAN）。基于 CycleGAN 的方法使用两个不同模型，一个用于梅尔倒谱系数（MCC）映射，另一个用于 F0 预测，其中 F0 高度依赖于预训练的 MCC 映射模型。这导致预测 F0 中出现额外的非线性噪声。为抑制该噪声，我们提出循环嵌套生成对抗网络（即 CinC-GAN）。其专为在不损失 MCC 映射精度的前提下提升 F0 预测有效性而设计。我们在非并行设定下评估所提方法，并针对说话人相关与性别相关任务进行分析。客观与主观测试表明 CinC-GAN 显著优于 CycleGAN。此外，我们对未见说话人分析 CycleGAN 与 CinC-GAN，结果显示 CinC-GAN 具有明显优越性。
引用
@article{arxiv.2008.07788,
title = {CinC-GAN for Effective F0 prediction for Whisper-to-Normal Speech Conversion},
author = {Maitreya Patel and Mirali Purohit and Jui Shah and Hemant A. Patil},
journal= {arXiv preprint arXiv:2008.07788},
year = {2020}
}
备注
Accepted in 28th European Signal Processing Conference (EUSIPCO), 2020