GALA：从单一扫描生成可动画分层资产

我们提出了 GALA，这是一个以单层穿衣 3D 人体网格作为输入并将其分解为完整多层 3D 资产的框架。输出结果随后可与其他资产结合，以创建具有任意姿态的新颖穿衣人体虚拟形象。现有的重建方法通常将穿衣人体视为单层几何体，忽略了人体与发型、服装和配饰之间固有的组合性，从而限制了网格在下游应用中的实用性。将单层网格分解为独立的层是一项具有挑战性的任务，因为这需要为严重遮挡区域合成合理的几何与纹理。此外，即使分解成功，网格在姿态和体型方面也未实现归一化，无法与新颖的身份和姿态实现连贯的组合。为了应对这些挑战，我们提出利用预训练 2D 扩散模型作为人类及其他资产的几何与外观先验的一般知识。我们首先使用从多视角 2D 分割中提取的 3D 表面分割来分离输入网格。然后，我们使用一种新颖的姿态引导分数蒸馏采样损失在姿态空间和规范空间中合成不同层的缺失几何。一旦我们完成了高保真 3D 几何的修复，我们还将同样的损失应用于其纹理，以获得包含最初被遮挡区域在内的完整外观。通过一系列分解步骤，我们在共享的规范空间中获得了在姿态和人体形状方面实现归一化的多层 3D 资产，从而支持轻松组合成新颖的身份并使用新姿态重新动画。我们的实验表明，与现有解决方案相比，我们的方法在分解、规范化和组合任务上是有效的。