中文

情感语音转换中的情感强度及其控制

声音 2022-07-19 v3 计算与语言 机器学习 音频与语音处理

摘要

情感语音转换(EVC)旨在转换话语的情感状态,同时保留语言内容与说话人身份。在 EVC 中,情感通常被视为离散类别,忽略了语音还以听者能感知的不同强度水平传达情感这一事实。本文旨在显式刻画并控制情感强度。我们提出将说话人风格与语言内容解耦,并将说话人风格编码为连续空间中的风格嵌入,该嵌入构成情感嵌入的原型。我们进一步从带情感标注的数据库中学习实际的情感编码器,并研究利用相对属性表示细粒度情感强度。为确保情感可懂度,我们将情感分类损失与情感嵌入相似度损失纳入 EVC 网络的训练。如预期所示,所提网络控制了输出语音中的细粒度情感强度。通过客观与主观评测,我们验证了所提网络在情感表现力与情感强度控制上的有效性。

关键词

引用

@article{arxiv.2201.03967,
  title  = {Emotion Intensity and its Control for Emotional Voice Conversion},
  author = {Kun Zhou and Berrak Sisman and Rajib Rana and Björn W. Schuller and Haizhou Li},
  journal= {arXiv preprint arXiv:2201.03967},
  year   = {2022}
}

备注

Accepted by IEEE Transactions on Affective Computing