探索非自回归跨语言文本到语音中的音色解耦
音频与语音处理
2022-09-01 v3 声音
摘要
本文从多个方面研究了非自回归跨语言 TTS 模型中说话人与语言表示的解耦。我们提出一种音素长度调节器,解决了 IPA 输入序列与单语对齐结果间的长度不匹配问题。利用该音素长度调节器,我们提出了一种以 IPA 符号作为输入表示的基于 FastPitch 的跨语言模型。实验表明,语言无关的输入表示(如 IPA 符号)、增加的训练说话人数量以及对语音方差信息的显式建模,均有助于非自回归跨语言 TTS 模型解耦说话人与语言表示。主观评价显示,我们所提模型在跨语言声音克隆中可取得良好的自然度与说话人相似度。
引用
@article{arxiv.2110.07192,
title = {Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech},
author = {Haoyue Zhan and Xinyuan Yu and Haitong Zhang and Yang Zhang and Yue Lin},
journal= {arXiv preprint arXiv:2110.07192},
year = {2022}
}
备注
Accepted by Interspeech 2022