基于音素级混合密度网络的丰富韵律多样性建模
声音
2023-10-03 v3
摘要
生成具有多样且平滑韵律模式的自然语音是一项具有挑战性的任务。尽管已有研究通过音素级韵律分布的随机采样来生成不同韵律模式，但生成语音的多样性仍非常有限，远未达到人类所能实现的程度。这在很大程度上源于先前音素级韵律建模工作中使用了单峰分布，如单高斯。本文中，我们提出一种新方法，使用基于 GMM 的混合密度网络（GMM-MDN）对音素级韵律建模。在 LJSpeech 数据集上的实验表明，音素级韵律可精确控制合成语音，且 GMM-MDN 能比单高斯生成更自然、平滑的韵律模式。主观评测进一步显示，所提方法不仅实现了更好的自然度，还在无需人工控制的情况下显著提升了合成语音的韵律多样性。
引用
@article{arxiv.2102.00851,
title = {Rich Prosody Diversity Modelling with Phone-level Mixture Density Network},
author = {Chenpeng Du and Kai Yu},
journal= {arXiv preprint arXiv:2102.00851},
year = {2023}
}
备注
Accepted to Interspeech 2021