FaceVR：虚拟现实中的实时面部重现与眼动控制

我们提出了 FaceVR，一种新颖的基于图像的方法，能够基于自我重现实现 VR 中的视频远程会议。VR 背景下最先进的面部追踪方法专注于绑定骨骼的 3D 化身的动画制作。虽然它们实现了良好的追踪性能，但结果看起来卡通化且不真实。与这些基于模型的方法相比，FaceVR 使用基于图像的技术实现 VR 远程会议，产生近乎照片般逼真的输出。FaceVR 的关键组成部分是一个鲁棒的算法，用于对佩戴头戴式显示器（HMD）的演员进行实时面部动作捕捉，以及一种新的基于数据驱动的单目视频眼部追踪方法。基于对未佩戴 HMD 人员预录立体视频的重现，FaceVR 结合了实时的照片级逼真重渲染，从而允许对面部和眼部外观进行人工修改。例如，我们可以改变预录目标视频中的面部表情或改变注视方向。在实时设置中，我们应用了这些新引入的算法组件。