佩戴 VR 头显人员的实时三维面部-眼部性能捕捉
计算机视觉与模式识别
2019-01-23 v1
摘要
基于虚拟现实（VR）头戴式显示器（HMD）的远程会议或远程呈现是一个非常有趣且有前景的应用，因为 HMD 可以为用户提供沉浸式感受。然而，为了便于 HMD 用户的面对面交流，需要对佩戴 HMD 的人员进行实时三维面部性能捕捉，由于 HMD 造成的大面积遮挡，这是一项非常具有挑战性的任务。现有的有限解决方案在设置或方法上都非常复杂，并且缺乏三维眼动注视运动的性能捕捉。在本文中，我们提出了一种基于卷积神经网络（CNN）的解决方案，用于 HMD 用户的实时三维面部-眼部性能捕捉，而无需对设备进行复杂改装。为解决缺乏训练数据的问题，我们通过数据合成生成大量的 HMD 面部-标签对数据集，并从多名受试者收集 VR-IR 眼部数据集。然后，我们训练一个用于面部区域的稠密拟合网络和一个眼动注视网络以回归三维眼部模型参数。大量实验结果表明，我们的系统能够实时高效且有效地生成与 HMD 用户对应的具有正确身份、姿态、表情和眼部运动的生动个性化三维虚拟形象。
引用
@article{arxiv.1901.06765,
title = {Real-time 3D Face-Eye Performance Capture of a Person Wearing VR Headset},
author = {Guoxian Song and Jianfei Cai and Tat-Jen Cham and Jianmin Zheng and Juyong Zhang and Henry Fuchs},
journal= {arXiv preprint arXiv:1901.06765},
year = {2019}
}
备注
ACM Multimedia Conference 2018