StarGAN-VC++：基于深度嵌入的保情感语音转换
音频与语音处理
2023-09-15 v1 声音
摘要
语音转换（VC）将一段话语转换为听起来像另一个人，而不改变语言内容。最近提出的基于生成对抗网络的 VC 方法 StarGANv2-VC 在生成自然听感的转换方面非常成功。然而，该方法未能在转换样本中保留源说话人的情感。情感保留对于自然的人机交互是必要的。在本文中，我们表明 StarGANv2-VC 未能解耦说话人和情感表示，而这对于保留情感是相关的。具体而言，在训练时用于捕获说话人嵌入的参考音频存在情感泄漏。为应对该问题，我们提出了新颖的情感感知损失以及一种无监督方法，该方法通过潜在情感表示利用情感监督。客观和主观评估证明了所提策略在多样化数据集、情感、性别等上的有效性。
引用
@article{arxiv.2309.07592,
title = {StarGAN-VC++: Towards Emotion Preserving Voice Conversion Using Deep Embeddings},
author = {Arnab Das and Suhita Ghosh and Tim Polzehl and Sebastian Stober},
journal= {arXiv preprint arXiv:2309.07592},
year = {2023}
}
备注
Accepted in 12th Speech Synthesis Workshop (SSW), Satellite event in Interspeech 2023