基于对抗循环一致的多参考神经 TTS 风格化
机器学习
2019-10-29 v1 声音
音频与语音处理
机器学习
摘要
当前用于文本到语音（TTS）的多参考风格迁移模型在不相交数据集上表现欠佳，其中某个数据集仅包含某一风格维度的单一风格类别。这些模型通常无法对该数据集中代表性不足的维度产生风格迁移。在本文中，我们提出一种带有成对与不成对三元组的对抗循环一致性训练方案，以确保利用所有风格维度的信息。在训练期间，我们引入具有随机选定参考音频样本的不成对三元组，并利用对抗循环一致性促使合成语音保留恰当的风格。我们使用该方法将包含四种情感的数据集中的情感迁移到仅含单一情感的数据集。这带来了风格迁移 78% 的提升（基于情感分类），且保真度与自然度仅有微小下降。在主观评价中，我们的方法始终被评为比基线更接近参考风格。合成语音样本见：https://sites.google.com/view/adv-cycle-consistent-tts
引用
@article{arxiv.1910.11958,
title = {Multi-Reference Neural TTS Stylization with Adversarial Cycle Consistency},
author = {Matt Whitehill and Shuang Ma and Daniel McDuff and Yale Song},
journal= {arXiv preprint arXiv:1910.11958},
year = {2019}
}