用于逼真虚拟人像的生成式头戴相机捕获

在虚拟现实和增强现实 (VR/AR) 中实现逼真的虚拟人像动画一直具有挑战性，因为难以获得人脸的真实状态。从具有红外 (IR) 部分观测的头戴相机 (HMC) 传感输入获取同步图像，与从具有匹配虚拟人像外观的完整观测的由外向内穹顶相机阵列获取同步图像，在物理上是不可能的。先前依赖分析合成方法的工作可以生成准确的真值，但在个性化训练中受到表情与风格之间不完美解耦的影响。对同一对象依赖大量配对捕获（HMC 和穹顶）使得收集大规模数据集在操作上成本高昂，并且这些数据集无法用于不同的 HMC 视角和光照。在这项工作中，我们提出了一种新颖的生成式方法，生成式 HMC (GenHMC)，它利用大量未配对的 HMC 捕获（这些数据更容易收集），直接根据来自穹顶捕获的任意条件虚拟人像状态生成高质量的合成 HMC 图像。我们表明，我们的方法能够正确地将指定面部表情和视角的输入条件信号与面部外观解耦，从而产生更准确的真值。此外，我们的方法可以泛化到未见过的身份，消除了对配对捕获的依赖。我们通过评估合成 HMC 图像以及从这些新的 HMC-虚拟人像对应关系训练出的通用人脸编码器来展示这些突破，这些编码器实现了更好的数据效率和最先进的准确性。