利用嵌入一致性损失在有限训练数据下构建双语与语码转换语音转换
音频与语音处理
2021-04-23 v1 声音
摘要
为多方言、多语言构建跨语言语音转换（VC）系统长期以来一直是一项具有挑战性的任务。本文描述了一种并行非自回归网络，在每种语言仅有单语语料的情况下，实现多方言、多语言的双语与语码转换语音转换。我们通过应用双语瓶颈特征，实现了普通话多方言语音与英语多方言语音之间的跨语言 VC。为提升语音克隆性能，我们使用带有梯度反转层的对抗说话人分类器，从编码器输出中削弱源说话人信息。此外，为提高参考语音与转换语音之间的说话人相似度，我们在网络中采用了合成语音与其自然参考语音之间的嵌入一致性损失。实验结果表明，所提方法可实现高质量转换语音，平均意见得分（MOS）约为 4。该转换系统在集内说话人转换与集外一次性转换的说话人相似度方面均表现良好。
引用
@article{arxiv.2104.10832,
title = {Building Bilingual and Code-Switched Voice Conversion with Limited Training Data Using Embedding Consistency Loss},
author = {Yaogen Yang and Haozhe Zhang and Xiaoyi Qin and Shanshan Liang and Huahua Cui and Mingyang Xu and Ming Li},
journal= {arXiv preprint arXiv:2104.10832},
year = {2021}
}
备注
Submitted to Interspeech 2021