面向 LIMMITS 2023 挑战赛的多说话人多语言 VQTTS 系统
声音
2024-11-12 v2 音频与语音处理
摘要
本文描述了上海交通大学 X-LANCE 团队为 LIMMITS 2023 挑战赛开发的系统，我们主要关注赛道 1 在自然度上的获胜系统。该挑战赛旨在为马拉地语、印地语和泰卢固语构建多说话人多语言文本到语音（TTS）系统。给定数据集中每种语言各有一个男声和一个女声说话人。在赛道 1 中，只能从每位说话人选择 5 小时数据来训练 TTS 模型。我们的系统基于最近提出的 VQTTS，其利用 VQ 声学特征而非梅尔频谱。我们向 VQTTS 引入额外的说话人嵌入和语言嵌入以控制说话人与语言信息。在需要以跨语言说话人声音合成语音的跨语言评测中，我们向声学模型提供母语说话人的嵌入，并向声码器提供目标说话人的嵌入。在自然度的主观 MOS 听测中，我们的系统取得 4.77 分，排名第一。
引用
@article{arxiv.2304.13121,
title = {Multi-Speaker Multi-Lingual VQTTS System for LIMMITS 2023 Challenge},
author = {Chenpeng Du and Yiwei Guo and Feiyu Shen and Kai Yu},
journal= {arXiv preprint arXiv:2304.13121},
year = {2024}
}
备注
Accepted to ICASSP 2023 Special Session for Grand Challenges