驱动信号感知的全身虚拟化身

我们提出了一种基于学习的构建驱动信号感知全身虚拟化身的方法。我们的模型是一个条件变分自编码器，可使用不完整的驱动信号（如人体姿态和面部关键点）进行动画化，并生成人体几何与视角相关外观的高质量表示。我们方法背后的核心直觉是，通过解耦驱动信号与在动画时不可用的其余生成因素，可以实现更好的可驱动性与泛化性。为此，我们通过引入一个专门捕获剩余信息的潜空间，显式地考虑驱动信号中的信息缺失，从而在忠实于驱动信号的同时，实现全身动画所需缺失因素的填补。我们还提出了一种可学习的驱动信号局部压缩方法，其促进了更好的泛化，并有助于最小化真实数据集中常见的全局偶然相关性的影响。对于给定的驱动信号，所得的变分模型为缺失因素产生一个紧凑的不确定性空间，允许采用最适合特定应用的填补策略。我们在具有挑战性的虚拟临场全身动画问题上展示了我们方法的有效性，该问题的驱动信号来自放置在环境中和安装在 VR 头显上的最少传感器。