稀疏观测下的分层化头像生成

从AR/VR设备估计3D全身头像对于创建AR/VR应用中的沉浸式体验至关重要。这一任务由于来自头戴式设备的输入仅捕获头部和手部的稀疏观察，具有显著挑战性。从这些稀疏观察预测全身头像，特别是下身部位， presents significant difficulties。本文受到SMPL模型中定义的运动学树的内在属性的启发——上身和下身仅共享一个公共祖先节点——从而具有解耦重建的潜力。我们提出一种分层方法，将传统的全身头像重建管道解耦为两个阶段：首先重建上身，然后在前一阶段的条件下重建下身。为实现这一直观想法，我们利用潜在扩散模型作为强大的概率生成器，并训练它遵循由VQ-VAE编码器-解码器模型探索的解耦运动的潜在分布。在AMASS mocap数据集上的大量实验表明，我们在全身运动重建方面实现了最先进的性能。