Emo-StarGAN：一种半监督任意到多非平行情感保持语音转换方法
音频与语音处理
2023-09-15 v1 声音
摘要
语音匿名化通过去除任何个人标识符同时至少保留语言内容来防止语音数据被滥用。然而，情感保持对于自然的人机交互至关重要。知名的语音转换技术 StarGANv2-VC 实现了匿名化但未能保持情感。本工作提出了一种任意到多的半监督 StarGANv2-VC 变体，训练于部分情感标注的非平行数据。我们提出了在情感嵌入和与情感相关的声学特征上计算的情感感知损失。此外，我们使用情感分类器提供直接的情感监督。客观与主观评估表明，所提方法相比原始 StarGANv2-VC 显著改善了情感保持。这种显著改进在多样的数据集、情感、目标说话人以及组间转换中均可见到，且不损害可懂度与匿名化。
引用
@article{arxiv.2309.07586,
title = {Emo-StarGAN: A Semi-Supervised Any-to-Many Non-Parallel Emotion-Preserving Voice Conversion},
author = {Suhita Ghosh and Arnab Das and Yamini Sinha and Ingo Siegert and Tim Polzehl and Sebastian Stober},
journal= {arXiv preprint arXiv:2309.07586},
year = {2023}
}
备注
Accepted in Interspeech 2023