面向真实感情感语音转换的可控情感强度方法
音频与语音处理
2024-07-23 v1 声音
信号处理
摘要
真实感情感语音转换(EVC)旨在增强转换音频的情感多样性,使合成语音更加真实自然。为此,我们提出了情感强度感知网络(EINet),通过引入可控情感强度来动态调整语调和节奏。为了更好地捕捉情感强度的细微差别,我们不仅依赖声学特征之间的距离度量,还利用情感评估器精确量化说话者的情感状态。通过使用强度映射器,我们获得强度伪标签,以弥合情感语音强度建模与运行时转换之间的差距。为确保高语音质量同时保持可控性,我们采用情感渲染器在帧级别将语言特征与操控后的情感特征平滑结合。此外,我们使用时长预测器,以指定强度值为条件,促进节奏变化的自适应预测。实验结果表明,与当前最先进的情感语音转换方法相比,EINet 在情感表达的自然度和多样性方面均表现出优越性能。
引用
@article{arxiv.2407.14800,
title = {Towards Realistic Emotional Voice Conversion using Controllable Emotional Intensity},
author = {Tianhua Qi and Shiyan Wang and Cheng Lu and Yan Zhao and Yuan Zong and Wenming Zheng},
journal= {arXiv preprint arXiv:2407.14800},
year = {2024}
}
备注
Accepted to INTERSPEECH2024