EgoRenderer：从第一人称相机图像渲染人体化身

我们提出了EgoRenderer，这是一个用于渲染由佩戴在帽子或VR头显上的可穿戴第一人称鱼眼相机捕捉到的人物的全身神经化身的系统。我们的系统可以从任意虚拟相机位置渲染出演员及其动作的照片级逼真新视角图像。从这种第一人称图像渲染全身化身面临着独特的挑战，因为其视角是自上而下的且存在严重畸变。我们通过将渲染过程分解为几个步骤来应对这些挑战，包括纹理合成、姿态构建和神经图像转换。对于纹理合成，我们提出了Ego-DPNet，一个神经网络，用于推断输入鱼眼图像与底层参数化身体模型之间的密集对应关系，并从第一人称输入中提取纹理。此外，为了编码动态外观，我们的方法还学习了一个隐式纹理堆栈，该堆栈捕捉了跨姿态和视角的详细外观变化。为了生成正确的姿态，我们首先使用参数化模型从第一人称视角估计身体姿态。然后，我们通过将参数化模型投影到用户指定的目标视角来合成一个外部自由视角姿态图像。接下来，我们将目标姿态图像和纹理组合成一个组合特征图像，该图像通过神经图像转换网络转换为输出彩色图像。实验评估表明，EgoRenderer能够为佩戴第一人称相机的人生成逼真的自由视角化身。与几个基线的比较证明了我们方法的优势。