crank：基于矢量量化变分自编码器的非并行语音转换开源软件
音频与语音处理
2021-03-05 v1 声音
摘要
本文介绍一个名为crank的用于开发非并行语音转换(VC)系统的开源软件。尽管我们已在上一届VC挑战赛中发布了基于高斯混合模型、名为sprocket的开源VC软件，但应用任何语音语料库并不容易，因为需要对源说话人与目标说话人的并行语句建模统计转换函数。为解决此问题，本研究开发了新的开源VC软件，使用户仅利用非并行语音语料库即可建模转换函数。为实现该VC软件，我们采用了矢量量化变分自编码器(VQVAE)。为快速验证该研究领域近期技术的有效性，crank还支持若干基于自编码器的VC方法的代表性工作，如层次化架构、循环架构、生成对抗网络、说话人对抗训练与神经声码器。此外，还可基于MOSNet自动估计如梅尔倒谱失真与伪平均意见得分等客观测度。本文描述crank中开发的代表性功能，并通过客观评价作简要比较。
引用
@article{arxiv.2103.02858,
title = {crank: An Open-Source Software for Nonparallel Voice Conversion Based on Vector-Quantized Variational Autoencoder},
author = {Kazuhiro Kobayashi and Wen-Chin Huang and Yi-Chiao Wu and Patrick Lumban Tobing and Tomoki Hayashi and Tomoki Toda},
journal= {arXiv preprint arXiv:2103.02858},
year = {2021}
}
备注
Accepted to ICASSP 2021