基于全局音高与响度特征的神经文本转语音韵律迁移
声音
2020-05-19 v2 计算与语言
机器学习
音频与语音处理
摘要
本文提出了一种简单而有效的方法，用于将参考语音信号的韵律迁移到合成语音中。主要思想是将众所周知的韵律声学关联特征（如参考语音的音高和响度轮廓）融入现代神经文本转语音（TTS）合成器（如 Tacotron2（TC2））中。更具体地说，从参考音频中提取一小组声学特征，然后用于调节 TC2 合成器。所训练的模型通过主观听测进行评估，并提出了一种新颖的韵律迁移客观评价方法。听测表明，合成语音被评为主观自然度很高，并且韵律成功地从参考语音信号迁移到了合成信号。
引用
@article{arxiv.1911.09645,
title = {Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features},
author = {Siddharth Gururani and Kilol Gupta and Dhaval Shah and Zahra Shakeri and Jervis Pinto},
journal= {arXiv preprint arXiv:1911.09645},
year = {2020}
}
备注
5 pages, in review for conference publication