基于循环变分自编码器的非平行语音转换
音频与语音处理
2019-07-25 v1 计算与语言
声音
摘要
本文提出一种利用基于循环变分自编码器（CycleVAE）的谱建模进行非平行语音转换（VC）的新技术。在变分自编码器（VAE）框架中，通常具有高斯先验的潜空间用于对一组输入特征进行编码。在基于VAE的VC中，编码后的潜特征与说话人编码特征一起送入解码器，以生成具有原始说话人身份（重构）或另一说话人身份（转换）的估计谱。由于非平行建模条件，转换谱无法直接优化，这严重降低了基于VAE的VC性能。本工作中，为克服该问题，我们提出使用基于CycleVAE的谱模型，其通过将转换特征回收至系统中以获得可直接优化的相应循环重构谱，从而间接优化转换流。该循环流可通过将循环重构特征作为下一循环输入而持续。实验结果证明了所提基于CycleVAE的VC的有效性，其产生更高准确度的转换谱，生成具有更高相关度的潜特征，并显著改善转换语音的质量与转换准确度。
引用
@article{arxiv.1907.10185,
title = {Non-Parallel Voice Conversion with Cyclic Variational Autoencoder},
author = {Patrick Lumban Tobing and Yi-Chiao Wu and Tomoki Hayashi and Kazuhiro Kobayashi and Tomoki Toda},
journal= {arXiv preprint arXiv:1907.10185},
year = {2019}
}
备注
Accepted to INTERSPEECH 2019