PromptStyle：基于自然语言描述的可控风格迁移文本到语音合成
声音
2023-06-02 v2 音频与语音处理
摘要
风格迁移文本到语音（TTS）近年来展现出令人印象深刻的性能。然而，风格控制通常局限于建立在具有离散风格类别的表现性语音录音之上的系统。在实际情境中，用户可能感兴趣于通过键入所需风格的文字描述来迁移风格，而无需目标风格的参考语音。文本引导的内容生成技术近来引起了广泛关注。在本工作中，我们探索利用自然语言描述实现可控风格迁移的可能性。为此，我们提出PromptStyle，一种文本提示引导的跨说话人风格迁移系统。具体而言，PromptStyle由一个改进的VITS和一个跨模态风格编码器组成。该跨模态风格编码器通过两阶段训练过程构建风格与语义表示的共享空间。实验表明，PromptStyle能够利用文本提示实现恰当的风格迁移，同时保持较高的稳定性和说话人相似度。音频样本可在我们的演示页面获取。
引用
@article{arxiv.2305.19522,
title = {PromptStyle: Controllable Style Transfer for Text-to-Speech with Natural Language Descriptions},
author = {Guanghou Liu and Yongmao Zhang and Yi Lei and Yunlin Chen and Rui Wang and Zhifei Li and Lei Xie},
journal= {arXiv preprint arXiv:2305.19522},
year = {2023}
}