通用面部动画器：在RGBD空间中驱动任意3D面部化身
计算机视觉与模式识别
2023-08-14 v1 多媒体
摘要
创建逼真的3D面部动画对于电影制作和游戏行业的各种应用至关重要，尤其在元宇宙需求蓬勃增长的背景下。然而，主流方法如基于混合形状的方法和面部绑定技术耗时耗力，且缺乏标准化配置，使面部动画制作困难且昂贵。本文中，我们提出一种新颖的自监督框架——通用面部动画器（Versatile Face Animator），它以端到端方式将面部动作捕捉与动作重定向结合，无需混合形状或绑定。我们的方法具有以下两个主要特点：1）我们提出一个RGBD动画模块，通过分层动作字典从原始RGBD视频中学习面部运动，并从3D面部网格由粗到细地渲染RGBD图像进行动画，从而实现对任意3D角色的面部动画，无论其拓扑、纹理、混合形状和绑定如何；2）我们引入一个网格重定向模块，利用RGBD动画通过控制器变换操控面部网格来创建3D面部动画，这些控制器变换由稠密光流场估计并基于测地距离权重混合得到。综合实验证明了我们所提框架在生成令人印象深刻的3D面部动画结果上的有效性，凸显其作为元宇宙中高性价比、高效面部动画制作可行方案的潜力。
引用
@article{arxiv.2308.06076,
title = {Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space},
author = {Haoyu Wang and Haozhe Wu and Junliang Xing and Jia Jia},
journal= {arXiv preprint arXiv:2308.06076},
year = {2023}
}
备注
Accepted by ACM MM2023