Robust MelGAN：一种用于高保真 TTS 的鲁棒通用神经声码器
声音
2022-11-03 v3 音频与语音处理
摘要
在当前两阶段神经文本到语音（TTS）范式中，理想情况是拥有一个通用神经声码器，一经训练便对声学模型预测的不完美梅尔频谱图具有鲁棒性。为此，我们通过解决原始多频带 MelGAN 的金属声问题并提升其泛化能力，提出了 Robust MelGAN 声码器。具体而言，我们向生成器引入细粒度网络丢弃策略。借助专门设计的过平滑处理器将语音信号分离为周期性与非周期性分量，我们仅对非周期性分量执行网络丢弃，从而缓解金属声并保持良好说话人相似度。为进一步提升泛化能力，我们引入若干数据增强方法以扩充判别器中的伪数据，包括谐波偏移、谐波噪声与相位噪声。实验表明，Robust MelGAN 可用作通用声码器，显著改善基于各类数据构建的 TTS 系统的音质。
引用
@article{arxiv.2210.17349,
title = {Robust MelGAN: A robust universal neural vocoder for high-fidelity TTS},
author = {Kun Song and Jian Cong and Xinsheng Wang and Yongmao Zhang and Lei Xie and Ning Jiang and Haiying Wu},
journal= {arXiv preprint arXiv:2210.17349},
year = {2022}
}
备注
Accepted by ISCSLP 2022