自带你的角色：定制化角色自动面部动画生成的整体解决方案

虚拟角色动画一直是虚拟现实（VR）中的一个基础研究问题。面部动画发挥着至关重要的作用，因为它们能有效地传达虚拟人的情感与态度。然而，创建此类面部动画颇具挑战，因为当前方法通常需要使用昂贵的动作捕捉设备，或人类动画师需耗费大量时间与精力调整动画参数。在本文中，我们提出了一种自动为虚拟人面部生成动画的整体解决方案。在我们的解决方案中，首先训练了一个深度学习模型，通过估计混合变形系数，将输入面部图像中的面部表情重定向到虚拟人面部。该方法提供了为不同外观和混合变形拓扑的角色生成动画的灵活性。其次，使用 Unity 3D 开发了一个实用工具包，使其与最流行的 VR 应用兼容。该工具包接受图像和视频作为输入来驱动目标虚拟人面部动画，并允许用户操控动画结果。此外，受人机回环（Human-in-the-loop, HITL）理念的启发，我们利用用户反馈进一步改进模型与工具包的性能，从而增强定制化属性以适应用户偏好。我们将公开整个解决方案的代码，该方案有望加速用于 VR 应用的面部动画生成。