面向跨语言语音合成的零样本情感迁移
声音
2023-10-09 v1 音频与语音处理
摘要
跨语言语音合成中的零样本情感迁移旨在将源语言任意语音参考中的情感迁移到目标语言的合成语音中。构建此类系统面临外语口音不自然以及不同语言共享情感表达建模困难等挑战。本文在 DelightfulTTS 神经架构基础上，引入专门设计的模块分别建模语言特定的韵律特征与语言共享的情感表达，以应对这些挑战。具体而言，语言特定的语音韵律由非自回归预测编码（NPC）模块学习，以提升跨语言合成语音的自然度。不同语言间的共享情感表达从具有强泛化能力的预训练自监督模型 HuBERT 中提取。我们进一步使用层次化情感建模来捕捉跨语言更全面情感。实验结果表明，所提框架在为无情感训练数据的单语目标说话人合成双语情感语音方面有效。
引用
@article{arxiv.2310.03963,
title = {Zero-Shot Emotion Transfer For Cross-Lingual Speech Synthesis},
author = {Yuke Li and Xinfa Zhu and Yi Lei and Hai Li and Junhui Liu and Danming Xie and Lei Xie},
journal= {arXiv preprint arXiv:2310.03963},
year = {2023}
}
备注
Accepted by ASRU2023