基于情感语音的情感相关面部动画
音频与语音处理
2019-08-13 v1 多媒体
声音
摘要
在人机交互中，与情感语音同步的面部动画可以提供更自然的对话代理。在本文中，我们提出了一种用于情感语音驱动面部形状动画的两阶段深度学习方法。在第一阶段，我们将情感语音分类为七种情绪类别。在第二阶段，我们在每种情绪类别内训练独立的深度估计器，以从情感语音合成面部形状。在 SAVEE 数据集上进行了客观和主观评估。与训练一个不考虑情绪的通用模型相比，所提出的情感相关面部形状模型在均方误差（MSE）损失和生成关键点动画方面表现更好。
引用
@article{arxiv.1908.03904,
title = {Emotion Dependent Facial Animation from Affective Speech},
author = {Rizwan Sadiq and Sasan AsadiAbadi and Engin Erzin},
journal= {arXiv preprint arXiv:1908.03904},
year = {2019}
}