基于深度光照自适应的AR/VR高保真人脸跟踪
计算机视觉与模式识别
2021-03-31 v1 图像与视频处理
摘要
三维视频虚拟形象可通过在AR/VR中提供压缩、隐私、娱乐和临场感来增强虚拟通信。由视频驱动的最佳三维照片级真实感AR/VR虚拟形象能够最小化恐怖谷效应，其依赖于特定人物模型。然而，现有的特定人物照片级三维模型对照明不够鲁棒，因此其效果通常会遗漏细微的面部行为并在虚拟形象中引起伪影。这是这些模型在通信系统（例如Messenger、Skype、FaceTime）和AR/VR中可扩展性的主要缺陷。本文通过学习一个深度学习光照模型，结合高质量三维人脸跟踪算法，解决了以往的局限，提供了一种将常规视频中细微且鲁棒的面部运动迁移到三维照片级真实感虚拟形象的方法。大量实验验证及与其他最先进方法的对比证明了所提框架在姿态、表情和光照多变的真实场景中的有效性。更多结果请访问 https://www.youtube.com/watch?v=dtz1LgZR8cc。项目页面位于 https://www.cs.rochester.edu/u/lchen63。
引用
@article{arxiv.2103.15876,
title = {High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation},
author = {Lele Chen and Chen Cao and Fernando De la Torre and Jason Saragih and Chenliang Xu and Yaser Sheikh},
journal= {arXiv preprint arXiv:2103.15876},
year = {2021}
}
备注
The paper is accepted to CVPR 2021