UMA：基于多层次表面对齐的超精细人体虚拟化身

从多视角视频中学习具有生动动态和逼真外观的可动画化穿衣人体虚拟化身模型，是计算机图形学和视觉领域的一个重要基础研究问题。在隐式表示最新进展的推动下，通过将隐式表示附着于可驱动的人体模板网格，可动画化虚拟化身的质量达到了前所未有的水平。然而，它们通常无法保留最高级别的细节，这在虚拟相机拉近并以 4K 及更高分辨率渲染时尤为明显。我们认为这一局限性源于不准确的表面跟踪，具体而言是角色几何与真实表面之间的深度不匹配和表面漂移，这迫使精细外观模型去补偿几何误差。为了解决这个问题，我们提出了一个潜在变形模型，并利用来自基础 2D 视频点跟踪器的指导来监督可动画化角色的 3D 变形，这些跟踪器对阴影和表面变化具有更好的鲁棒性，且比可微渲染更不易陷入局部极小值。为了缓解 2D 点跟踪器随时间漂移和缺乏 3D 感知的问题，我们引入了一种级联训练策略，通过将点跟踪锚定在渲染的虚拟化身上来生成一致的 3D 点轨迹，最终在顶点和纹素级别监督我们的虚拟化身。为了验证我们方法的有效性，我们引入了一个新数据集，包含五个多视角视频序列，每个序列时长超过 10 分钟，使用 40 个校准的 6K 分辨率相机拍摄，拍摄对象穿着具有挑战性纹理图案和褶皱变形的服装。我们的方法在渲染质量和几何精度上均显著优于先前 SOTA。