网易游戏基于矢量量化变分自编码器与WaveNet的2020语音转换挑战赛系统
声音
2020-10-16 v1 音频与语音处理
摘要
本文介绍了我们为2020语音转换挑战赛(VCC)所提交系统的说明，该系统采用矢量量化变分自编码器(VQ-VAE)并以WaveNet作为解码器，即VQ-VAE-WaveNet。VQ-VAE-WaveNet是一种基于非平行VAE的语音转换方法，其在重构声学特征的同时将语言信息与说话人身份分离。该模型进一步以WaveNet循环作为解码器来生成高质量语音波形，因为WaveNet作为一种自回归神经声码器已在波形生成上取得SOTA结果。在实践中，我们的系统可利用VCC 2020数据集针对任务1(同语言)与任务2(跨语言)进行开发。然而，我们仅提交了同语言语音转换任务的系统。VCC 2020的结果表明，我们的系统VQ-VAE-WaveNet在任务1中取得了：自然度平均意见得分(MOS)3.04，相似度平均分3.28(说话人相似度百分比(Sim)为75.99%)。主观评价还显示，在无需监督学习参与时，我们的系统表现最佳。此外，我们的系统在一些客观评价中表现良好。具体而言，我们的系统在自动自然度预测中取得自然度平均分3.95，并分别在基于ASV的说话人相似度与欺骗对策中排名第6与第8。
引用
@article{arxiv.2010.07630,
title = {The NeteaseGames System for Voice Conversion Challenge 2020 with Vector-quantization Variational Autoencoder and WaveNet},
author = {Haitong Zhang},
journal= {arXiv preprint arXiv:2010.07630},
year = {2020}
}
备注
Accepted to the ISCA Joint Workshop for the Blizzard Challenge and Voice Conversion Challenge 2020