Bailing-TTS：面向人类化自然表达的中文方言语音合成
计算与语言
2024-08-02 v1 声音
音频与语音处理
摘要
近期大规模文本到语音（TTS）模型取得了显著进展，但在中文方言语音生成方面仍有不足。为此，我们提出 Bailing-TTS，一套能够生成高质量中文方言语音的大规模 TTS 模型。Bailing-TTS 是中文方言语音生成的基础模型。首先，提出了持续半监督学习，以便对齐文本标记和语音标记。其次，开发了针对中文方言的表征学习，采用特定的 Transformer 架构和多阶段训练流程。通过该方案的网络架构设计和相应策略，Bailing-TTS 能够高效、有效地从文本生成中文方言语音。实验表明，Bailing-TTS 生成的中文方言语音接近人类化自然表达。读者可访问 \url{https://c9412600.github.io/bltts_tech_report/index.html} 聆听演示。
引用
@article{arxiv.2408.00284,
title = {Bailing-TTS: Chinese Dialectal Speech Synthesis Towards Human-like Spontaneous Representation},
author = {Xinhan Di and Zihao Chen and Yunming Liang and Junjie Zheng and Yihua Wang and Chaofan Ding},
journal= {arXiv preprint arXiv:2408.00284},
year = {2024}
}
备注
8 pages, 2 figures