基于实时性能的情绪动态面部动画

我们的目标是改进能够驱动真实感知3D卡通角色的表演驱动动画。通过将传统的混合形状动画技术与多种机器学习模型结合，我们提出了非实时和实时解决方案，以几何一致性和感知有效的方式驱动角色表情。对于非实时系统，我们提出一种3D情感迁移网络利用2D人类图像生成风格化3D rig 参数。对于实时系统，我们提出一种混合形状适应网络生成具有几何一致性和时序稳定性的角色 rig 参数运动。我们通过与商业产品 Faceware 进行比较来展示我们系统的有效性。结果表明，我们的系统在动画角色表情的识别、强度和吸引力方面的评级统计上高于 Faceware。我们的结果可实现于动画管道中，为动画师提供一种更快更准确地创建所需表情的系统。