任意到单语音转换中带循环一致性损失的增强示例自编码器
声音
2022-04-13 v2 音频与语音处理
摘要
近期研究表明，使用单一说话人语音训练的自编码器（称为示例自编码器，eAE）可用于任意到单语音转换（VC）。与 AutoVC 等大规模多对多模型相比，eAE 模型训练简单快速，且能恢复更多目标说话人的细节。为保证 VC 质量，潜码应表示且仅表示内容信息。然而，由于 eAE 在模型训练中不知晓任何说话人变化，这一点难以实现。为解决该问题，我们提出了一种基于循环一致性损失的简单而有效的方法。具体而言，我们用共享编码器训练多个说话人的 eAE，同时鼓励从任一说话人特定解码器重建的语音在循环回去再次编码时，获得与原始语音一致的潜码。在 AISHELL-3 语料库上的实验表明，该新方法较基线 eAE 有一致提升。源代码与示例见项目页：http://project.cslt.org/。
引用
@article{arxiv.2204.03847,
title = {Enhanced exemplar autoencoder with cycle consistency loss in any-to-one voice conversion},
author = {Weida Liang and Lantian Li and Wenqiang Du and Dong Wang},
journal= {arXiv preprint arXiv:2204.03847},
year = {2022}
}
备注
submitted to INTERSPEECH 2022