低数据?没问题: 通过F0条件数据增强的低资源、语言无关对话式文本转语音
音频与语音处理
2022-08-01 v1 声音
摘要
跨语言表现风格数据的可用性有限,且录音会话成本高、耗时久。为克服这些问题,我们展示了在同一语言无其他对话数据可用时,仅用1小时对话语音如何构建低资源神经文本转语音(TTS)声音。假设该语言存在非表现式语音数据,我们提出3步技术:1)训练F0条件语音转换(VC)模型作为数据增强技术;2)训练F0预测器以控制语音转换合成数据的对话韵味;3)训练消耗增强数据的TTS系统。我们证明我们的技术可实现F0可控性,可跨说话人与语言扩展,且在自然度上优于不使用F0信息的另一增强方法这一最先进基线模型。
引用
@article{arxiv.2207.14607,
title = {Low-data? No problem: low-resource, language-agnostic conversational text-to-speech via F0-conditioned data augmentation},
author = {Giulia Comini and Goeric Huybrechts and Manuel Sam Ribeiro and Adam Gabrys and Jaime Lorenzo-Trueba},
journal= {arXiv preprint arXiv:2207.14607},
year = {2022}
}
备注
Accepted for presentation at Interspeech 2022