来自 VR 头显的通用面部编码

可靠的实时面部动画对于通过虚拟现实 (VR) 实现的化身中介 telepresence 至关重要。为了模拟真实的交流，化身动画需要高效且准确：能够在几毫秒内捕捉到极端和细微的表情，以维持自然对话的节奏。面部的斜斜视角、头显佩戴差异以及由于环境导致的照明变化是泛化到未见面孔的独特挑战。在本文中，我们提出了一种方法，可从消费者 VR 头显上的头部摄像机 (HMC) 实时为 photorealistic 化身生成准确的面部动画。我们提出一种基于跨视图重建目标的自监督学习方法，可实现对未见用户的泛化。我们提出一种轻量级表情校准机制，在不显著增加运行时效率的前提下提高准确性。我们提出改进的参数化方案，可实现精确的 ground-truth 生成，并对环境变化具有鲁棒性。所得系统可实时为佩戴 VR 头显的未见用户生成准确的面部动画。我们将方法与先前的面部编码方法进行比较，在定量指标和定性结果方面均取得显著改进。