从人类到虚拟角色的人脸表情重定向简易实现

从人类到虚拟角色的人脸表情重定向是计算机图形学与动画中的一项有用技术。传统方法使用标记点或混合形状来构建人脸与虚拟角色面部之间的映射。然而，这些方法需要繁琐的 3D 建模过程，且性能依赖于建模者的经验。本文中，我们通过非线性表情嵌入与表情域翻译，针对这一跨域表情迁移问题提出了一种全新解决方案。我们首先利用变分自编码器为人类与虚拟角色的人脸表情构建低维潜空间。随后，在几何与感知约束的指导下，我们建立两个潜空间之间的对应关系。具体而言，我们设计几何对应关系以反映几何匹配，并利用三元组数据结表达用户对虚拟角色表情的感知偏好。我们提出了一种用户友好的方法，可自动生成三元组，使系统能让用户轻松高效地标注对应关系。利用几何与感知对应关系，我们训练了一个用于从人类到虚拟角色表情域翻译的网络。大量实验结果与用户研究表明，即便非专业用户也能应用我们的方法，以更少的时间与精力生成高质量的人脸表情重定向结果。