面向虚拟现实的鲁棒以自我为中心照片级真实感面部表情迁移
计算机视觉与模式识别
2022-07-05 v2
摘要
社交临场感，即与真实之人在场的感受，将由虚拟现实（VR）中数字人类驱动的下一代通信系统所推动。最能最小化恐怖谷效应的最佳 3D 视频真实感 VR 虚拟形象依赖于特定人（PS）模型。然而，这些 PS 模型构建耗时，且通常基于有限的数据变异性训练，导致泛化性与鲁棒性差。影响面部表情迁移算法准确性的主要变异性来源包括使用不同的 VR 头显（例如相机配置、头显倾斜）、面部外观随时间变化（例如胡须、妆容）以及环境因素（例如光照、背景）。这是这些模型在 VR 中可扩展性的主要缺陷。本文通过提出一种以端到端多身份架构（MIA）并结合专门增强策略训练，在克服这些局限上取得进展。MIA 从未训练过的受试者中，利用最少的个性化信息（即中性 3D 网格形状），由 VR 头显中的三个相机（两只眼、一张嘴）驱动虚拟形象的形状分量。类似地，若 PS 纹理解码器可用，MIA 能够鲁棒地驱动完整虚拟形象（形状+纹理），在挑战性场景中优于 PS 模型。我们提升鲁棒性与泛化性的关键贡献在于，我们的方法以无监督方式隐式地将面部表情从干扰因素（例如头显、环境、面部外观）中解耦。我们在多种实验中展示了所提方法相对于最先进 PS 方法的优越性能与鲁棒性。
引用
@article{arxiv.2104.04794,
title = {Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality},
author = {Amin Jourabloo and Baris Gecer and Fernando De la Torre and Jason Saragih and Shih-En Wei and Te-Li Wang and Stephen Lombardi and Danielle Belko and Autumn Trimble and Hernan Badino},
journal= {arXiv preprint arXiv:2104.04794},
year = {2022}
}