面向 LIMMITS'24 挑战赛的 THU-HCSI 多说话人多语言少样本语音克隆系统
声音
2024-04-26 v1 音频与语音处理
摘要
本文介绍了由 THU-HCSI 团队为 LIMMITS'24 挑战赛开发的多说话人多语言少样本语音克隆系统。为了在单语和跨语种场景下均实现高说话人相似度和自然度，我们在 YourTTS 的基础上构建了该系统并添加了若干增强措施。为进一步提高说话人相似度和语音质量，我们引入了具有 Transformer 模块的说话人感知文本编码器和基于流的解码器。此外，我们对少样本数据进行去噪，将其与预训练数据混合，并采用说话人平衡采样策略，以保证对目标说话人的有效微调。赛道 1 的官方评估结果表明，我们的系统获得了 4.25 的最佳说话人相似度 MOS，并取得了 3.97 的可观自然度 MOS。
引用
@article{arxiv.2404.16619,
title = {The THU-HCSI Multi-Speaker Multi-Lingual Few-Shot Voice Cloning System for LIMMITS'24 Challenge},
author = {Yixuan Zhou and Shuoyi Zhou and Shun Lei and Zhiyong Wu and Menglin Wu},
journal= {arXiv preprint arXiv:2404.16619},
year = {2024}
}
备注
Accepted in Grand Challenge of ICASSP 2024