MulliVC: 基于循环一致性的多语言语音转换
声音
2024-08-12 v1 人工智能
音频与语音处理
摘要
语音转换旨在修改源说话人的声音使其 resemble 目标说话人，同时保留原始语音内容。尽管近年来语音转换取得了显著进展，但多语言语音转换（包括单语言和跨语言场景）尚未得到广泛研究。它面临两个主要挑战：1）不同语言之间韵律和发音习惯的显著差异；2）同一说话人的多语言配对数据集极为稀少。在本文中，我们提出了 MulliVC，一种仅转换音色而保留原始内容和源语言韵律的新型语音转换系统，且无需多语言配对数据。具体而言，MulliVC 的每个训练步骤包含三个子步骤：第一步使用单语言语音数据训练模型；然后，第二步和第三步借鉴回译思想，构建一个循环过程，在缺乏同一说话人多语言数据的情况下分离音色与其他信息（内容、韵律及其他语言相关信息）。客观和主观结果均表明，MulliVC 在单语言和跨语言场景中均显著优于其他方法，证明了该三步方案与循环一致性的有效性。音频样本可在我们的演示页面 (mullivc.github.io) 上找到。
引用
@article{arxiv.2408.04708,
title = {MulliVC: Multi-lingual Voice Conversion With Cycle Consistency},
author = {Jiawei Huang and Chen Zhang and Yi Ren and Ziyue Jiang and Zhenhui Ye and Jinglin Liu and Jinzheng He and Xiang Yin and Zhou Zhao},
journal= {arXiv preprint arXiv:2408.04708},
year = {2024}
}