揭开通信伙伴的面具：一种用于VR远程呈现中数字去除头戴式显示器的低成本AI方案

当参与者佩戴头戴式显示器(HMD)时，虚拟现实(VR)中的面对面交谈是一项挑战。参与者面部的大部分被遮挡，面部表情难以察觉。过去的研究表明，在实验室条件下使用高成本硬件，可在VR中实现高保真面部重建与个人化身。在本文中，我们提出了首批用于该任务的低成本系统之一，该系统仅使用开源免费软件和负担得起的硬件。我们的方法利用卷积神经网络(CNN)跟踪用户在HMD下的面部，并使用生成对抗网络(GAN)生成相应的表情，以产生该人面部的RGBD图像。我们使用带有低成本扩展（如3D打印支架和微型摄像头）的商用硬件。我们的方法端到端学习且无需人工干预，实时运行，并可在普通游戏电脑上训练和执行。我们报告的评估结果表明，我们的低成本系统未能达到使用高端硬件和闭源软件的研究原型相同的保真度，但其能够创建具有个人特定运动和表情特征的面部化身。