CASEIN：用于细粒度情感强度调节的显式与隐式级联控制
声音
2023-07-04 v1 人工智能
多媒体
音频与语音处理
摘要
现有细粒度强度调节方法依赖通过预测情感概率进行的显式控制。然而，这些高层语义概率在音素级别常不准确且不平滑，导致学习偏差。尤其当我们试图为特定音素混合多种情感强度时，合成的可控性与自然度显著降低。为解决此问题，我们提出 CAScaded Explicit and Implicit coNtrol 框架（CASEIN），其利用从参考语音中对情感流形进行准确解耦，以学习较低语义级别的隐式表示。该表示弥合了显式概率与合成模型之间的语义鸿沟，减少了学习偏差。实验中，我们的 CASEIN 在可控性与自然度上均超越现有方法。值得注意的是，我们首次实现了对多种情感混合强度的细粒度控制。
引用
@article{arxiv.2307.00020,
title = {CASEIN: Cascading Explicit and Implicit Control for Fine-grained Emotion Intensity Regulation},
author = {Yuhao Cui and Xiongwei Wang and Zhongzhou Zhao and Wei Zhou and Haiqing Chen},
journal= {arXiv preprint arXiv:2307.00020},
year = {2023}
}
备注
Accepted at Interspeech 2023