重访基于 IPA 的跨语言文本到语音合成
计算与语言
2021-10-19 v2 声音
音频与语音处理
摘要
国际音标(IPA)已被广泛用于跨语言文本到语音合成(TTS)以实现跨语言声音克隆(CL VC)。然而,在跨语言 TTS 中 IPA 本身尚未得到充分研究。本文报告了使用 IPA 作为输入构建跨语言 TTS 模型的一些经验发现。实验表明,处理 IPA 与超音段序列的方式对 CL VC 性能影响可忽略。此外,我们发现使用每语言仅含一个说话人的数据集构建基于 IPA 的 TTS 系统会导致 CL VC 失败,因为语言独有的 IPA 及声调/重音符号可能泄露说话人信息。另外,我们实验了训练数据集中说话人的不同组合,以进一步探究说话人数量对 CL VC 性能的影响。
关键词
引用
@article{arxiv.2110.07187,
title = {Revisiting IPA-based Cross-lingual Text-to-speech},
author = {Haitong Zhang and Haoyue Zhan and Yang Zhang and Xinyuan Yu and Yue Lin},
journal= {arXiv preprint arXiv:2110.07187},
year = {2021}
}
备注
Submitted to ICASSP2022