FruitShell法语合成系统参加2023年Blizzard挑战赛
音频与语音处理
2024-09-26 v3 计算与语言
声音
摘要
本文介绍了一种用于2023年Blizzard挑战赛的法语文本到语音合成系统。该挑战赛包含两项任务：从女性说话人生成高质量语音，以及生成与特定个人高度相似的语音。针对比赛数据，我们进行了筛选以去除缺失或错误的文本数据。我们整理了除音素外的所有符号，并剔除了无发音或时长为零的符号。此外，我们在文本中添加了词边界和起止符号，根据以往经验发现这能提升语音质量。对于Spoke任务，我们依据比赛规则进行了数据增强。我们使用开源的G2P模型将法语文本转写为音素。由于G2P模型使用国际音标（IPA），我们对提供的比赛数据应用了相同的转写流程以实现标准化。然而，由于编译器在识别IPA表中的特殊符号方面存在限制，我们遵循规则将所有音素转换为比赛数据中所用的语音方案。最后，我们将所有比赛音频重采样至统一的16 kHz采样率。我们采用了基于VITS的声学模型与hifigan声码器。对于Spoke任务，我们训练了多说话人模型，并将说话人信息融入模型的时长预测器、声码器和流层中。我们系统的评估结果中，Hub任务的品质MOS得分为3.6，Spoke任务为3.4，在所有参赛队伍中处于平均水平。
引用
@article{arxiv.2309.00223,
title = {The FruitShell French synthesis system at the Blizzard 2023 Challenge},
author = {Xin Qi and Xiaopeng Wang and Zhiyong Wang and Wang Liu and Mingming Ding and Shuchen Shi},
journal= {arXiv preprint arXiv:2309.00223},
year = {2024}
}